同郑成功部甘辉、陈六御等收复舟山，张名振缟素入城，遍觅母尸，哀动三军。岁末，张名振猝死。据说是食物中毒，或疑郑成功部属所为；另一说为“疽发背而死”。死前曾言：“吾于君母恩俱未报，若母尸不获，毋收吾骸。”言毕起坐，击床而逝，死不瞑目，犹凛凛有生气。后葬于普陀勾山南岙村。张名振原本遗嘱由张煌言统领其军，而郑成功却下令由陈六御接掌。次年清军再度占领舟山，陈六御阵亡，在将士的推戴下张煌言成为原鲁监国系统军队的主要领袖，继续同郑成功联合作战。1658年，永历帝封郑成功为延平郡王，张煌言为兵部左侍郎。同年清军进犯云贵，郑成功、张煌言进军浙江，攻克乐清、宁海等地，在羊山遇台风，损失巨舰百余艘，漂没战士八千余人，被迫撤回厦门。1659年五月，郑成功、张煌言再次进军长江。当月，攻克瓜州、镇江。六月二十二日到达江宁，从仪凤门登陆，在岳庙山屯营。张煌言建议说：“师久易生他变，宜分兵袭取句容、丹阳等城。”郑成功未能采纳这个正确意见。七月初五日，芜湖降书至，郑成功命张煌言带兵控制上游，防备江楚援兵。张煌言审度形势，分兵出击。一军出溧阳，攻广德；一军镇守池州，截断上游援军；一军攻和州，保卫采石；一军入宁国，攻徽州。传檄大江南北，各地人民响应，一举收复太平、宁国、池州、徽州等四府、三州、二十二县。一时江南震动，清顺治帝甚至准备亲征江南。此时郑成功误认为大局已定，南京旦夕可下，中了两江总督郎廷佐的缓兵之计，不攻城，不打援，八十三营大军牵连立屯，警戒不严。1660年六月二十三日，清崇明总兵梁化凤率骑兵出击，攻破郑成功的前屯余新营。次日黎明，清军倾城出击，郑成功命令部队离营，屯扎山上，摆设挨牌、火炮，列阵迎敌。清军来攻，郑成功退却，大将甘辉被俘牺牲。郑成功遂撤走镇江等地驻军，从长江出海。张煌言得知郑成功出海，清总督郎廷佐已派水师截断长江，便决定进军鄱阳湖，号召江楚人民进行抗清斗争。八月初七日，船到铜陵，被清援军打败。张煌言焚舟登陆，率余部数百人取道霍山、英山，到达东溪岭时，适逢清军“追骑至，从者尽散”。张煌言突围而出，只得“变服夜行，至高浒埠，有父老识之，匿于家数日，导使出间道，渡江走建德、祁门乱山间”。此时张煌言身染疟疾，几乎不能行走，但仍不顾病痛，奋力疾行。到达休宁后，“得舟下严州”。登岸后，又复行山路，途经浙江的东阳、义乌“至天台达海”。历尽千难万险，兵败后绕道潜行二千余里，九死一生，终于到达浙东海滨，招集散亡，屯驻长亭乡。同时派遣使者向永历帝禀告自己兵败的消息。永历得悉后，在敕书中表示安抚慰问，并加兵部尚书职衔。后移驻宁海临门，加紧训练兵士。然而一年后，清廷为了肃清东南沿海地区的抗清势力，颁布了“迁海令”，下令把沿海居民强行迁往内地，以断绝对义军的粮饷“接济”。义军“无所得饷”，只得“开屯南田自给”。郑成功在十六年中六次进军失败，东南沿海州县，屡得屡失。遂接受荷兰东印度公司通事何斌的建议，欲东取台湾，说：“台湾沃野千里，可以立国。”张煌言在临门写信劝阻，说“军有寸进而无尺退。今入台则两岛（金门、厦门）将来恐并不可守，是孤天下人之望也。”（《鲒埼亭集》卷九）郑成功不听。1661年三月，留子郑经守厦门，亲率大军三万乘海船百艘，进取台湾。十二月十一日，荷兰总督揆一投降。郑成功收回台湾，改称台湾城为东都，设一府二县。当郑成功进军台湾的时候，清军则直下云南，终使永历政权覆亡。张煌言“遣其客罗纶入台湾”，催促郑成功出兵闽南，一方面支持东南沿海人民反对“迁海令”的斗争，另一方面牵制清军，以解永张煌言塑像