在东京这边，继任东京留守的杜充，不但约束部下避免与金兵作战，反而派遣他们帮金人扫荡民间武力。
原来杜充是一个投机份子，心中根本不看好南宋，所以一上任便偷偷派遣亲信前往金营，与金人达成协议，金人答应不攻打东京，双方互不交战，但杜充必须协助扫荡两河地区的民间武力。
他知道手下实力最强的人就是岳飞，所以故意命令他去讨伐张用。
张用也是相州汤阴人，曾经与岳飞一起在周侗的武馆学过武艺，还在汤阴县担任过「弓手」，因此与岳飞私交不错，师兄弟经常把酒言欢；后来张用也响应宗泽的号召，加入抗金阵营。
岳飞当然知道杜充的用意，所以向杜充说：「张用拥兵数万，我只有一千兵，实在对付不了。」
杜充阴险笑道：
「岳统制，本帅可是深知你的能耐才会做此决定；我且问你，自从你加入我军，可有哪一次出战不是以寡敌眾？」
岳飞答不出来。
「岳统制，本帅再问你，虽然你都是以寡敌眾，但是可有哪一次吃过败仗？」
岳飞还是答不出来。
「岳统制，本帅又问你，你是否曾经不听从上司王彦的军令，擅自出战？本帅已经查明，本案并未了结，只是当时被宗帅批示暂缓处理，如今我接任东京留守，当然必须负责做出最后的裁决。」杜充嘴角微扬，冷冷问道：
「岳统制，本帅最后问你一句，是否愿意接令前往讨伐盗匪张用？」
「末将领命。」
杜充走过来轻轻拍着岳飞的肩膀说道：「岳统制如果肯帮忙本帅肃清所有匪患，就是立了大功，后功可补前过，本帅保证将你那件旧案彻底了结。」
于是，当金人兵分两路，势如破竹打得高宗抱头鼠窜，甚至被追杀到渡江逃命，然后又歷经苗刘兵变的惊吓，搞到绝子绝孙的几个月时间里，岳飞却受到杜充的威逼，以微小的兵力帮金人清扫门庭；面对人数数十倍的匪眾，岳飞虽然都能获胜，但是又不忍施以重击，心中实在充满了无力感。
到了六月，金人看民间武力差不多清除殆尽，决定取下东京，将两河地区全部纳入金国版图。杜充派人通知岳飞，说他决定放弃东京，将留守司撤回健康。岳飞马上结束剿匪工作，匆匆赶回东京，并极力反对杜充的计画。哪知杜充早已决心全面配合金人，根本不为所动，岳飞最后只好无奈地跟着杜充南下健康。
高宗前一段时间实在太过悽惨，自顾不暇，所以根本无暇去查明真正的状况，身边又没有人能帮他做出正确的判断，竟然认为杜充在宗泽去世之后将近一年，还能稳住东京不失，实在居功厥伟。一方面为了表彰其功，一方面希望他继续发挥所长，稳住建康防务，以保障临安的太平，所以破格将杜充升任右相，兼江、淮宣抚使，负责镇守建康。
到了秋天，金人又是兵分三路。西路完顏昌攻打淮南，中路完顏拔离速、完顏穀英、耶律五码由黄州渡江屠洪州，劫掠胡北、江西一带，东路由金兀朮亲自率领，声称这次一定要活捉赵构，终结南宋。
杜充还是老招，不与金兵对抗，只在十一月派遣水军攻打贼寇李成；结果金兵支援李成击败宋军，掳获大量船隻。金兀朮也不攻打健康，绕道健康西南的马家渡，准备渡江直下江南。
杜充听到金兵即将渡江的消息，怕事后被追究责任，仓促派遣都统制陈淬，率领岳飞、戚方，统兵二万前往马家渡阻挡金兀朮，另由王燮率一万三千人策应。
结果王燮临阵脱逃，陈淬战死，只有岳飞力战之后，暂时屯兵在建康东北的紫金山。
杜充接到马家渡战败的讯息后，率领亲兵三千弃城前去投降金人。
镇守江寧的陈邦光，以及镇守建康的杜充，两人先后投降之后，金兀朮再无阻碍，率领大军渡过长江，展开所谓「搜山检海」行动，锁定高宗一路追击，金兀朮还再度公开宣称，即使高宗上山下海，都一定要将他活捉才愿意北归。
他先攻下湖州，进逼临安，高宗匆匆逃到明州；金兀朮接着占领临安，一面派讹鲁补、术列速领军击败宋将周汪军，攻占越州，一面遣阿里、蒲鲁浑率领四千精兵渡过曹娥江，在明州城外二十五里处大破宋军，高宗被迫从明州搭乘大船出海，浮游海上。
其实高宗浮游海上并不是临时起意。
金人渡江之后，高宗就与宰相吕颐浩商讨过，万一有一天被金兵追杀时，应该逃往深山还是大海？
吕颐浩说：「金人以骑兵取胜，万一皇上需要避难，带着一大伙皇亲贵族，文武百官，亲兵侍卫，再加上他们的家小，如果走陆路进入山区，道路崎嶇，不但狭窄难行，更怕粮运不顺，早晚会出问题。而且金人既渡浙江，一定会分遣轻骑追袭，很快就会被他们追上而遭不测。如果皇上乘坐大型海船以避敌，既然脱离陆地，敌人最擅长的骑兵也莫奈我何。而且江浙气候比较热，敌人无法久留。我们姑且暂居海上，等到他们北返我们再回来。总之他来我们就出海，他去我们就登陆，这就是兵家所谓之奇道也。」
--