高宗皇帝随王渊、康履等人一路逃至扬子桥方才停下歇息，一旁跟随的亲卫中有正义之士，见其狼狈模样，便愤愤对旁人说道：“遍数历代，还是头一遭见不顾百姓逃命的官家。”
    高宗皇帝在一旁听到，起身怒斥道：“朕虽狼狈，却仍是大宋皇帝，逆贼安敢辱我？”说罢从腰边掣出宝剑来，照那卫士当胸一剑，将其透甲刺死。
    随着众大臣与军民逃至江边，场面顿时混乱无比。其时扬州军民皆恨黄潜善入骨，司农卿黄锷逃至江上，有人叫道：“黄相公在此！”周围军民不辨其人，以为是黄潜善。顿时数人骂道：“误国害民，皆汝之罪。”黄锷正要张口辩解自己非黄潜善，早已有愤怒的军士扑上前来，一刀将其斩首。乱军之中，暴民四起，少卿史徽、丞范浩继至，俱如黄锷般死法。给事中兼侍讲黄哲方徒步逃亡，被后方一马军骑士连射四箭而卒。又有鸿胪少卿黄唐俊渡江溺死，谏议大夫李处遁为乱兵所杀，太府少卿朱端友、监察御史张灏，皆不知存亡。
    吕颐浩、张浚二人自扬州逃出，一路马不停蹄，追至瓜洲镇方赶上高宗皇帝。好不容易寻得一条小船，君臣数人乘船过江仍不敢停，一直逃到京口这才稍歇。
    此时高宗皇帝坐于水帝庙前，阴沉着脸一言不发，从腰间取剑，在靴底上将自己杀人所留血迹擦净，而后抬眼望去。身边除了寥寥数人，百官皆不在此，诸卫禁军更是无一人从行。此情此景令高宗皇帝不禁心中暗叹，不知自己父兄当年若是早早离开汴京，是否也会像自己一般狼狈。
    就在高宗皇帝逃离扬州当晚，金将玛图便以五百骑先驰至扬州，此时扬州守臣右文殿修撰黄愿已遁去，扬州百姓备香花迎拜金军入城。
    来到城中，玛图问高宗皇帝所在，众人道：“渡江矣。”玛图连忙起兵追击，来到瓜洲时，江面空旷，哪里还有半个人影，无奈之下，只得将拥挤于江边的百姓追杀一顿，收兵回扬州驻扎。
    随后拔离速大军来到，屯兵于摘星楼下，一面命金兵在扬州城中劫掠财物妇女，一面来到运河处打捞陷于泥淖中的船只。
    原来在听闻金军逼近天长军时，城中闻讯，百官富商，无论公私财物，皆以船只运输。一时间运河自扬州至瓜洲五十里内，舢舻相衔，仅通一舟。又闻皇帝百官尽皆出逃，军民更是慌乱不堪，纷纷抢夺舟船，意欲渡江南逃。却不料运河上船只过多，水浅难行，尽数陷于泥淖之中动弹不得。因此当金兵来时，船上物资尽被金兵所压，乘舆服御，官府案牍，无一留者。
    高宗皇帝君臣南逃，将扬州繁华之地拱手让给金军，又因未曾捉住高宗皇帝，金军将所有不快尽数宣泄到江北十余万百姓身上。一时之间，金兵在扬州各处烧杀抢劫、奸淫掳掠，百姓逃生无望，要么沉江自尽，要么便成了金兵刀枪之下亡魂。而金兵劫掠之金帛珠玉，积江岸如山。
    高宗皇帝逃至镇江，惊魂稍定，其余群臣也陆续来到，这一日退朝之后，高宗皇帝召重臣武将入宅堂议事。
    见众人来到，高宗皇帝开口道：“姑留此，或径趋浙中邪？”奉国军节度使、都巡检使刘光世闻言，痛哭失声。高宗皇帝不明其意，便问其何故痛哭。
    刘光世回道：“都统制王渊专管江上海船，每言缓急济渡，决不误事。今诸军阻隔，臣所部数万人，二千余骑，皆不能济，何以自效！”
    原来王渊结交内侍康履，因而步步高升，搜刮了无数民脂民膏。听闻金军来到，便私自动用战船为自己运送财物，反将诸军置于江北不管，以至于数万兵马不得渡河，被追击而来的金军尽数歼灭。因此刘光世方有此言。
    黄潜善听其说到王渊，恐节外生枝，便说道：“已集数百舟渡诸军。”
    高宗皇帝听后，也不辨别真假，便说道：“如今诸军都已处置，不必多言，今日只议去留。”
    此时吏部尚书吕颐浩早已看清高宗皇帝本心，只为一路南逃，但因自己身份不便说出，只是想要以群臣之口说出继续南逃的话来。但当日在扬州他与张浚不顾百姓而逃，至今想来，仍是羞愧不已，于是便长跪于阶下拜伏不起。
    高宗皇帝不明其意，便看向黄潜善。黄潜善会意，便询问吕颐浩所跪何意。
    吕颐浩以首叩地道：“吕某愿且留于此地，为江北声援；不然，金人乘势渡江，愈狼狈矣。”
    此言一出，正中高宗皇帝下怀，便顺势说道：“既如此，则宰相同往江上经略，号令江北诸军，令结陈防江，仍先渡官吏百姓。”众官得旨，各自退出。
    出得堂来，王渊痛恨刘光世在皇帝面前参自己一本，但却不敢对其下手，只得将其手下江北都巡检皇甫佐拿下诛杀。当高宗皇帝知道之时，王渊已经杀了皇甫佐，问其缘由。王渊便借口皇甫佐“佐主海舟，济渡留滞，故而杀之”搪塞过去。
    随后王渊又进言道：“暂驻镇江，止捍得一处。若金自通州渡江，先据姑苏，将若之何？不如钱塘有重江之阻。”一旁内侍听后点头称是，于是高宗皇帝也意属钱塘。
    第二天，高宗皇帝召来黄潜善，将王渊的话说与他听，征询他的意见。黄潜善知其有南逃之间，便说道：“渊言如此，臣复何辞以留陛下！”高宗皇帝以为大善，便从王渊之言，由镇江幸杭州，使王渊留守姑苏，留朱胜非守镇江，以龙图阁直学士、知镇江府钱伯言为枢密直学士，充巡幸提点钱粮顿递。吏部尚书吕颐浩为资政殿大学士、江淮制置使。都巡检使刘光世为殿前都指挥使，充行在五军制置使，驻镇江府，控扼江口。主管马军司杨惟忠节制江东军马，驻江宁府。
    待得一切安排妥当，高宗皇帝立即启程，自镇江出发，经常州、平江府、秀州等地，最终逃至杭州。
    而在高宗皇帝一路南逃之时，江南各处除了金军肆虐之外更有叛军横行。如御营统制官王亦驻军江宁，谋夺江宁以为据点，夜半纵火，吓得守臣秘阁修撰赵明诚缒城而逃。所幸城中江东转运副使、直徽猷阁李谟所部团民兵伏于巷中，待得兵变时鼓噪而出，击退王亦。赵明诚因临阵脱逃而被罢职。
    这赵明诚乃是词人李清照之夫。当日李清照在城中听闻赵明诚出逃，大失所望，后与赵明诚行舟往芜湖，路过乌江西楚霸王自刎之地，作《夏日绝句》以凭吊项羽，实为讥讽当政者与夫君之意。这便是那首传颂至今的名句：
    生当作人杰，死亦为鬼雄。至今思项羽，不肯过江东。