如此攻守了四个月有余，虽然城池还没有被攻破，但是城内的宋军已经精疲力竭。
元军也久顿坚城之下，成了一支疲兵。
福建、江东制置大使陈文龙，一面调兵遣将，组织援军北上，试图救援徽州；一面接连派出好几拨的探马，向鄂州、隆兴府求援。
隆兴府的李庭芝自顾不暇，只能勉强守住城池。
随着吕师圣率领大军，南渡长江，向着江州城东的元军湖口大营开来，伯颜的压力也越来越大。
宋、蒙两军的水师前哨已经在江面上开始接战了。蒙军的战船加装了火炮之后，凭借着数量优势，勉强可以和宋军打平。
双方经过试探，互有损伤之后，都向后撤退了十余里，不再接战。
伯颜稳坐池州城中。蒙元两淮行省右丞张惠进言道：“吕师圣领大军前来，湖口估计无法支撑太久。请元帅速派探马催促阿术加紧攻城，限期破城。”
“无需催促。来人，只讲吕师圣的兵马位置报给阿术，他知道该怎么做。”伯颜一直对阿术的能力非常信任。
阿术在徽州城下，得知吕师圣已经到了江州，连忙召集麾下的各路将领，商讨破城之策。
“大军身陷险地，如果此城不破，被吕师圣夺了湖口，那么我等皆死无葬身之地，还请诸将用命。”
火枪营万户博罗欢出列请战道：“还请都元帅领军猛攻西门、北门。末将愿领本部人马，攀上东侧山峰，然后居高临下，冲进东城，一举破城。”
阿术大喜，命令亲兵抬出酒肉金银，分给火枪营的士卒。并承诺：破城之后，十日不封刀。
元军士气大振，奋起余威，在城下列阵，轮番拼命攻城，三天三夜毫不停歇。
密佑吃睡都在西门，带着士卒奋勇拼杀。城中的士卒死伤惨重，数量不足，只能疲于奔命。趁着战斗间隙，站着都能睡着了。
元军万户博罗欢带着火枪营，抛去皮甲，轻装上阵，只带着火枪和火药袋，攀爬东门外的山峰。
在摔死、摔伤近百人之后，博罗欢终于带着火枪营登上了东山。
他没有立即冲锋，而是命令士卒在树荫下原地休息，恢复体力。
等到日落时分，
博罗欢命令大军吹响号角，擂动战鼓，全军一股作气向下冲去。
阿术在城西，听到城东的号角声响起，立即也加派大军，冲上城墙猛攻，牵制宋军的士卒。
宋军剩下的士卒本来就不多了，在东门只留了数百人警戒。
如今博罗欢的大军冲下来，一部分在城下开枪压制，一部分掏出飞爪，向城墙上攀爬。
宋军应对不及，被元军爬上了城墙。不出片刻，就将城东的数百人全部斩杀。博罗欢又带着火枪营向西门冲去。
密佑正在西门御敌，亲兵来报东门已丢，敌军已经冲入城中。
密佑得报，仰天长啸，大呼三声：“随我杀敌报国！”
随即举起长刀，领着亲兵冲入敌阵，陷阵而亡。
鞑子冲入歙县，纵兵劫掠，将城中男女老幼尽数屠杀，只有数十人存活。
阿术占了徽州之后，迅速就沿着新安江、钱塘江打通了到临安府的水路。
临安、绍兴两府的西侧终于没有了威胁。阿术留下一部兵马守徽州，然后领着大军，回到临安府休整。准备择期向南攻打秀王的残存势力。
吕师圣大军到达江州的时候，徽州失陷的消息传来。
湖口大营的元军，在水师的掩护之下，奉伯颜的军令，直接跨过鄱阳湖，撤向湖东岸的湖口城。
众将得知徽州被屠城，激愤不已，纷纷请求领军出战，要与鞑子在鄱阳湖决战。
正在此时，秀王、陈文龙接连派遣信使到了江州。请求吕丞相速速发兵，沿长江攻打伯颜，否则两浙、福建危矣。
吕师圣好言劝慰了使者，称诺立即发兵向下游进攻伯颜。信使千恩万谢，返回传信去了。
第二日，
吕师圣击鼓升帐，正要调兵遣将，向下游进攻。
却突然收到转运司来信，说川蜀府库之中的粮草已经消耗殆尽，请大军回师，待夏收之后，粮草充足之时再战。
“为何府库中的粮草不足？”
“回禀丞相，移民之时，已将府库消耗殆尽。去年勉强支撑了南征大理所需。如今正是青黄不接之时，存量耗尽，新粮未收。”
“新粮何时可以收上来？今年的收成怎么样？”
“冬小麦在四五月间可以收割，大约一个月可以收齐粮税，用船只押送到鄂州。去年冬季大雪，今年小麦长势非常好，足够大军出征所需。”
诸将听了之后，只能无奈撤军。
吕师圣仍然留下刘师勇、姜才等人镇守江州，自己带着大军返回鄂州。
反观元军这边，虽然江淮行省是新占国土，粮草征收比较少。但他们背靠中书省的大片平原，粮草源源不断的运输过来。
伯颜见吕建军后撤，也留下足够的军队镇守湖口、安庆、池州，然后领着大军撤回了建康府。
随即遣信使催促阿术，赶紧趁机领兵南下，争取一举攻灭秀王和陈文龙两镇。
阿术领着大军南下，兵分两路：
一路沿着陆路，从绍兴府出发，向西南方向，接连攻占婺州、严州、衢州；
一路乘坐水师战船，从临安府出发，沿海路向南，进攻台州、温州。
秀王当时坐镇温州，任命义兵将领杜浒任提举招讨副使，奉两浙制置司的命令，到台州招募兵丁、积蓄粮草，组织抗元。
杜浒手执抗元檄文奔走呼号，以图对抗蒙元。他一边募兵，一边练兵。
又收编了很多附近的义兵，他举荐附近的豪强牟大昌为浙江都使正将，其侄牟天与作为副将；毛彦为都护军，其子毛国祥为副；又在黄岩西南盘山、佛岭布防，以保台州。
五月底，元兵以南宋降将刘良贵为先锋，率兵至台州。杜浒领兵誓死抵抗，不料台州知府杨必大开城降元，元兵乘势夺了黄岩。
牟大昌、牟天与带着乡兵数百人，扼守黄土岭拒敌。他们竖起一面战旗，上面写着“赤城虽已降于虏，黄山不愿为之氓”。