拥立南明
1645年（清顺治二年、明弘光元年）之后，张煌言先是跟钱肃乐率领义军，驰骋宁绍，转战浙东打击清军。以后又与郑成功所率的军队在天台会师。鲁王到达绍兴，开始主持浙东反清事宜，26岁的张煌言以赐进士出身的身份，先后任翰林院编修、兵科给事中等职。
此时，福建的郑氏地方势力也奉唐王朱聿键在福州建立另一个小朝廷，建号“隆武”。于是，在东南沿海便有了两个并立的小朝廷，这就决定了抗清力量无法统一、合作，反形成互相牵制、抵消的局面。
三入长江
1647年（清顺治四年、明永历元年）四月，任职左都御史的张煌言奉鲁王命监张名振军，他率战舰浮海至崇明，一度登陆，但不幸为飓风所袭失败，全军覆没，自己也被俘后逃出，这是他首次指挥义军作战。1648年（清顺治五年，永历二年），张煌言参加义军恢复宁波失败，便率军至上虞县平冈结寨固守，并一度联合其他义军对清军发动进攻，焚上虞、破新昌，逐渐成为浙东人民抗清的一面旗帜。1651年（清顺治八年，永历五年），义军拥奉鲁王在舟山重建行在，八月，鲁王封张煌言为兵部左侍郎。总督军务的张名振和张煌言奉鲁王率大军从海上进攻崇明，获初胜，但根据地舟山却因防守空虚，被清军袭破，二张匆匆回军，已回天乏力，只能保护鲁王撤至福建，已向云南永历帝称臣并承认永历帝为正统的郑成功，将鲁王安置于金门岛。张煌言主动与郑成功交好，两位抗清战士结下深厚友谊。
1653年（清顺治十年，永历七年），张煌言随张名振又一次攻入崇明，第二年正月，二张率大军溯长江西上，军容严整，震动大江两岸，一度扬威镇江金山，因湖湘各处的永历帝军队发生变故，二张无法前进，只能拚死突破敌人长江防线退回崇明。四月，二张听说清军据守的南京空虚，遂又率军西上，郑成功亦助兵2万，这一次西征又因为军事上失利，被迫退回已光复的舟山岛，张煌言随后又到达闽北秦川岛驻兵。
1658年（清顺治十五年，永历十二年），永历帝派使臣到达福建厦门，封郑成功为延平郡王、招讨大将军，张煌言为东阁大学士兼兵部尚书，负责浙江军事。不久，两位抗清英雄联手上演了一场在抗清斗争中足以彪炳千秋的壮烈史剧。
攻打南京
1659年（清顺治十六年，永历十三年）五月，郑成功率水陆大军17万人，在舟山会合了张煌言所部6000人，自崇明口入长江，开始了向清军的进攻。在这场战役中，张煌言表现了他卓越的军事、政治才能。
还在大军刚到长江口时，张煌言就建议郑成功先占领崇明全岛作为后方根本。这是他多次进长江的经验，可惜郑成功未采纳，郑氏主张全军西。六月十七日，张煌言攻入瓜洲，在军事会议上，他建议大军先取镇江，自己率水军进攻南京观音门，掩护郑成功在镇江城下的军事行动。是月，张煌言部西上，仪征、六合的清军如惊弓之鸟，而广大人民则热烈拥戴张煌言的大军。义军到达观音门江面，企盼郑成功从陆上会师进攻南京。时据守南京的清江南总督郎廷佐因城内实力不济，异常恐慌。
但郑成功不懂得兵贵神速的道理，而是依旧坐船惯慢地西上。张煌言在南京江面空等了两天，不见大军到来。此时，清军乘机加强了南京的防务，他们侦知张煌言孤军在浦口，想趁郑成功大军未到时击破张煌言军，入夜，清军80艘快船偷袭张煌言水军，两军接战，义军奋勇杀敌，打败清军，第二天凌晨，7名义军战士还克复了江浦城。
克复芜湖
1659年（清顺治十六年，永历十三年）七月初七日张煌言收复芜湖，遂即于该城驻节，并分四路军攻取溧阳至广德、池州、和州、宁国，并以郑成功名义发布檄告，号召各地“归正反邪，端在今日”，“先机者有不次之赏，后至者有不测之诛”。一时皖南、苏南大为震动。
此时，张煌言派往各地的军队进展十分顺利，旬月之间，连克皖南的太平、宁国、池州、徽州、无为、和州及苏南的高淳、溧阳、溧水等城池，共计四府、三州、二十四县，部下水陆大军发展到数万人，湘赣鲁豫亦为之震动，忠勇之士纷纷输款欲投效力，这是张煌言抗清事业的辉煌顶点。而清廷也开始慌张起来，除征调大军南下镇压以外，顺治皇帝也开始筹划是否要“御驾亲征”。不幸，此时郑成功的大军却在南京城下战败，使郑成功、张煌言共同创造的大好抗清局面功败垂成。
郑成功大军一撤，张煌言孤军悬于芜湖一带，使得清军能够集中力量回过头来对付他。1661年（清顺治十八年，永历十五年）三月，张煌言率兵进入闽北的沙埕，打算与郑成功再度会师。但是郑成功的主力全力收复台湾。
早年时期
1620年（明万历四十八年）七月八日，张煌言出身于一个官僚家庭，西元父张圭章，1624年（明天启四年）举人，曾任山西盐运司判官，官至刑部员外郎。母赵氏，于张煌言十二岁时病卒，故一直跟随在父亲身边长大。张煌言少年时期就胸怀大志，为人慷慨并且喜爱讨论兵法之道。
1636年（明崇祯九年），张煌言十六岁参加县试，并考察骑射，张煌言射三箭皆中靶，与他一起应试的人没有不惊叹的。
1642年（明崇祯十五年），张煌言考中举人。当时，李自成领导的农民起义烽火已燃遍全国，明朝的统治岌岌可危，于是朝廷开始重视培养文武兼备的人材，张煌言虽考文举，但仍须加试一些战事急需的武备科目。在考试时，朝廷“以兵事急”，令考生“兼试射”，而张煌言竟“三发皆中”，使在场者十分惊服。加之他平日留心时局，“慷慨好论兵事”，故周围的人们对他更加敬重。
南下拒敌
1645年（清顺治元年、明弘光元年），清军大举南下，连破扬州、南京、嘉定、杭州等城。宁波城中文武官员有的仓惶出逃，有的策划献城投降。二十五岁的张煌言，挺身而出，投笔从戎。当时，刑部员外郎钱肃乐等率众集会于府城隍庙，张煌言毅然参加，倡议勤王，集师举义。并奉表到天台请鲁王朱以海北上监国。授翰林修撰。后清军破钱塘，随鲁王逃至浙闽沿海，入据舟山。
1646年（清顺治三年、明隆武元年）五月，大清征南大将军贝勒博洛乘虚突破钱塘江，绍兴、杭州、义乌、金华等城相继失守，南明宗室乐安郡王、楚亲王、晋平郡王在金华殉国。鲁王则在石浦守将张名振护卫下自台州出海到达舟山，张煌言随即赶回鄞县故里，与老父、继母、妻儿子女诀别，追随鲁王一行至舟山。但舟山总兵、隆武帝所封肃虏侯黄斌卿却拒绝接纳，鲁王只得逃往福建长垣。不久，鲁王去厦门，张名振留舟山待机。张煌言与张名振待局势稍定后，重返浙东与舟山地区，组织招募义军。而张煌言被鲁王加授右佥都御史之官职。
1647年（清顺治四年、明永历元年），清苏松提督吴胜兆欲在苏州反正，起事前联络定西侯张名振支持。张煌言劝张名振援吴胜兆，张名振遂命张煌言为监军，徐孚远副之。于四月初六自岑江（即舟山岑港）出发。不料四月十三日在崇明岛外遇风暴而大败。总督浙直水师户部左侍郎沈廷扬、总兵蔡聪（黄斌卿之妻舅）等将领十余人上岸后被清军俘获，于七月初三就义。而张煌言也因飓风吹翻船舶，陷入清军之手七天，找到机会逃出到了海上。在途经黄岩时，又被追赶的清军包围并以箭射之，张煌言率领数骑突出包围，自此他更加努力练习骑射。并在浙东招募集结义军于上虞县平冈寨屯田拒守。其时，当地的多个山寨经常劫掠民众，唯独张煌言与王翊让他们的部下不要扰民，深得民众拥护。
1651年（清顺治八年、明永历五年）七月，清将张天禄出崇安分水关，马进宝出台州海门，闽浙总督陈锦全军出定海，分路进攻舟山。张名振、张煌言等奉鲁王入海出兵吴淞，牵制清军主力。大学士张肯堂、安洋将军刘世勋、荡北伯阮进、左都督张名扬等留守。此役舟山军民死难者达18000人，合葬定海城北龙峰山下。事后，清将自承：“我军南下，江阴、泾县、舟山三城，最不易攻。”
1653年（清顺治十年、明永历七年）八月，张名振和监军兵部侍郎张煌言带领五六百艘战船向北进发，来到长江口的崇明一带沙洲。崇明城中的清军兵力有限，不敢出战，被围长达八个月。明军以崇明和附近沙洲为基地，如清方一分档案中所说：“筑圩耕种，近城十里之外，贼众充斥。百姓菜色相望，饥馑难支。为我用者恹恹待毙，为贼用者欣欣向荣。”“崇明产米之乡皆在平洋山前东、西阜沙，今被贼踞。”
1654年（清顺治十一年、明永历八年），张军三次进入长江作战，这就是有名的三入长江之役。
联郑抗清
1655年（清顺治十二年、明永历九年），张名振与张煌言合兵三入长江，抵燕子矶，因兵力单弱，无功而返；乃会同郑成功部甘辉、陈六御等收复舟山，张名振缟素入城，遍觅母尸，哀动三军。岁末，张名振猝死。死前曾言：“吾于君母恩俱未报，若母尸不获，毋收吾骸。”言毕起坐，击床而逝，死不瞑目，犹凛凛有生气。后葬于普陀勾山南岙村。张名振原本遗嘱由张煌言统领其军，而郑成功却下令由陈六御接掌。次年清军再度占领舟山，陈六御阵亡，在将士的推戴下张煌言成为原鲁监国系统军队的主要领袖，继续同郑成功联合作战。
1658年（清顺治十五年、明永历十二年），永历帝封郑成功为延平郡王，张煌言为兵部左侍郎。同年清军进犯云贵，郑成功、张煌言进军浙江，攻克乐清、宁海等地，在羊山遇台风，损失巨舰百余艘，漂没战士八千余人，被迫撤回厦门。
1659年（清顺治十六年、明永历十三年），张煌言与郑成功一起，为牵制张煌言大举向云贵地区进攻的清军，再次率义军入长江作战。先是，义军抵达并占领崇明。张煌言对郑成功建议说：“崇明，江、海门户”，宜先将义军“定营于此”，稍事休整，务使义军“进退有所据”。但郑成功未听从。当时，驻防长江的清军，在瓜洲金、焦二山间横上拦江铁索（俗称“滚江龙”），且在沿江两岸遍置西洋大炮，防守颇为坚固。张煌言却率义军乘十七条船机警巧妙地破坏了江防防线，在后援的郑军配合下，“翦江而渡”，于六月一举攻占瓜洲。攻克瓜洲后，张煌言又向郑成功建议全力攻取镇江，然郑成功顾虑驻守江宁（南京）的清军将赶往支援。张煌言则主张可先派一支舟师水军，佯攻直捣江宁北门，即观音门，这样“南京清军自不暇出援”。同时，他还提议这支水军应溯江而上，前往芜湖一带活动，以防阻江楚方面清军的来援。郑成功采纳了意见，并命他向南京方向进攻。此时，张煌言所率义军将属人数不满一万，渡江之舟不满百艘，仍毅然率军西行。不久，张煌言攻克仪真，并进军六合，沿途受到沿江民众的热烈欢迎，“仪征吏民赍版图迎降五十里外”。当得悉郑成功攻克镇江后，张煌言又致信郑成功，言及当“先抚定夹江郡县”后，再从陆路进军，直取南京，但郑成功未采纳他的建议，“竟从水道进”。致使有利战机瞬间丧失，而南京清军得以喘息并获后援而巩固城防。
六月二十八日，张煌言军直抵南京观音门外江面，停留两日仍不见郑军的到来，只得派遣别的将领率轻舟数十艘的水军，“直（西）上攻芜湖”，他自己则率军驻扎在浦口。待郑成功率“水师”到达后，张煌言又于七月七日赶到芜湖，在此，他“部勒诸军”，将义军兵分四路，分道攻城略地，且在沿途“移檄诸郡县”，张贴文告。许多故明降清的旧官吏，见到文告，纷纷倒戈，“于是太平、宁国、池州、徽州、广德及诸属县皆请降”，使义军很快便收复了四府、三州、二十四县，城池近三十座。义军纪律严明，所过之处，对民众百姓“秋毫无犯”。张煌言每“经郡县，入谒孔子庙，坐明伦堂，进长吏，考察黜陟，略如巡按行部故事，远近响应”。致使出现“父老争出持牛酒犒师，扶杖炷香，望见衣冠，涕泪交下，以为十五年来所未见”的空前盛况。[11]而“濒江小艇，载果蓏来贸易者如织”，[11]给义军很大支持与鼓舞。可是，这一大好形势，却因郑成功率军攻打南京城的失利，而很快急转直下。正当张煌言收复徽州时，闻郑成功在南京城下兵败之事，于是“还芜湖收兵，冀联合瓜洲、镇江（义）军为守计”，期待有利时机，再作他图。不久，张煌言又得到郑成功军已放弃瓜洲、镇江等地，而退回海上的消息，致使张煌言所率义军处于进退维谷、腹背受敌的危险处境，很快遭致溃败。[12]
此际，清两江总督郎廷佐一方面调遣水军切断张煌言义军东退的水路，另一方面又写信向张煌言劝降。张煌言对招降书“拒不应”，同时，为摆脱困境，又率“余兵道繁昌，谋入鄱阳湖”，向江西发展。当义军船队进抵铜陵时，却与湖广来援的大批清军水师遭遇，与之激战而败退。最后，张煌言“抚残兵仅数百，退次无为，焚舟登陆”。又从陆路自桐城，取道霍山、英山，到达东溪岭时，适逢清军“追骑至，从者尽散”。张煌言好不容易才突围而出，只得“变服夜行，至高浒埠，有父老识之，匿于家数日，导使出间道，渡江走建德、祁门乱山间”。此时张煌言身染疟疾发作，几不能行，但他仍不顾病痛，奋力疾行。到达休宁后，“得舟下严州”。登岸后，又复行山路，途经浙江的东阳、义乌“至天台达海”。历尽千难万险，兵败后绕道潜行二千余里，九死一生，终于回到了浙江沿海地区。此后，他“收集旧部”，准备东山再起。郑成功得到张煌言生还的消息后，也将自己的部分兵力拨归他统辖，致使义军稍有壮大。张煌言将义军屯驻长亭乡，“筑塘捍潮，辟田以赡军”需军饷。同时，张煌言又派遣使者向桂王禀告自己兵败的消息。桂王得悉后，在敕书中表示安抚慰问的同时，又给他“加兵部尚书”的职衔。
遭遇低潮
1661年（清顺治十八年、明永历十五年）清廷为了肃清东南沿海地区的抗清势力，颁布了“迁海令”，“廷议徙海上居民”，以断绝对义军的粮饷“接济”。义军“无所得饷”，只得“开屯南田自给”。当郑成功率军东征，从荷兰殖民者手中收复台湾时，张煌言不理解此举的重大战略意义与价值，曾写信给郑成功，“移书阻之”。不久，清军直下云南，终使南明永历政权覆亡。逢此危急之际，张煌言“遣其客罗纶入台湾”，催促郑成功出兵闽南，一方面支持东南沿海人民反对“迁海令”的斗争，另一方面也可牵制清军，以解永历政权之危，但郑成功“以台湾方定，不能行”为由，加以拒绝。于是，张煌言只得又遣使者到湖北的郧阳山中，去说服“十三家兵”出战，“十三家兵”原为李自成起义军的余部，由郝永忠、刘体纯等部将率领，他们以夔东茅麓山为根据地，坚持抗清斗争。张煌言要“十三家兵”出征，“使之扰湖广”清军，牵制敌人，“以缓云南”，挽救永历政权即将覆亡的军事危局，但“十三家兵”终因兵力“衰疲”，加之势单力薄，而未能出战。
1662年（清康熙元年、明永历十六年），张煌言又将义军移驻沙堤。其时，郑成功收复台湾后，建立郑氏政权。而鲁王则身居金门，故郑成功对其衣食供奉“礼数日薄”。张煌言虽对鲁王仍忠心不贰，且“岁时供亿”不绝，但又“虑成功疑”，故“十年不敢入谒”鲁王。待到张煌言“及闻桂王败亡”后，便“上启鲁王，将奉以号召”。但没有得到郑成功的支持。五月，郑成功突然病逝于台湾，致使抗清斗争形势更为严峻。张煌言则转战于宁海临门村一带。这时，清廷浙江总督赵廷臣趁张煌言义军处境艰难之际，再次写信招降，张煌言不为所动，并回信拒绝。十一月，鲁王薨于金门。于是，张煌言只得转战于宁海县临门村一带。还师临门，更使张煌言感慨万千。这时，清廷浙江总督赵廷臣乘张煌言义军处境艰难之际，再次写信招降，张煌言不为所动，并回信拒绝。义军此时虽多次奋战，然孤悬海上，被迫孤军作战，日渐势单力薄。为此有人提议将义军队伍拉上鸡笼岛驻扎，张煌言认为此议不可行，鸡笼小岛，四面环海，易攻难守，若遭致清军突袭有全军覆没的危险。
身后荣辱
1664年（康熙三年）六月，张煌言见复明无望，在南田的悬嶴岛解散义军，隐居海岛不出。夏天，清军通过叛徒找到张煌言隐居地，夜半渡岛，张煌言被执。农历七月十七日至宁波，九月初七日，张煌言被清军杀害于杭州弼教坊。当他赴刑场时，大义凛然，面无惧色，抬头举目望见吴山，叹息说：“大好江山，可惜沦于腥膻！”就义前，赋《绝命诗》一首。临刑时，他“坐而受刃”，拒绝跪而受戮。监斩官见杨冠玉年幼，有心为他开脱。杨冠玉却断然拒绝道：“张公为国，死于忠；我愿为张公，死于义。要杀便杀，不必多言。”言罢跪在张煌言面前引颈受刑，时年仅四十五岁。
张煌言死后由鄞县万斯大等人与和尚超直收尸，并由张煌言外甥朱湘玉到总督衙门买回首级殡敛，并遵照他在《入武林》诗品所表示的愿望，把他葬于杭州南屏山北麓荔枝峰下，成为与岳飞、于谦一同埋葬在杭州的第三位英雄，后人称之为“西湖三杰”。生前的友人叶振名登越王岭遥祭忠魂，撰祭文将张煌言与罗纶二人并称为“张司马二客”。清国史馆为其立传，《明史》有传。
1776年（乾隆四十一年）清高宗命录前朝“殉节诸臣”，并加以褒谥和祭祀。收入《钦定胜朝殉节诸臣录》。清廷对张煌言加谥“忠烈”，且将其牌位入“祀忠义祠”，得享定期供祭。
在南明历史上，最杰出的政治家有两位，一位是堵胤锡，另一位是张煌言。堵胤锡在永历朝廷中一直遭到何腾蛟、瞿式耜等人的排挤，无法展布他的雄才大略，终于赍志以殁；张煌言偏处浙江、福建海隅，得不到实力派郑成功的支持，空怀报国之志。历史上常说“何代无才”，治世不能“借才于异代”，就南明而言又何尝不是如此。在史书上，人们习惯于把史可法、何腾蛟、瞿式耜列为南明最堪称赞的政治家，其实，他们不过是二、三流的人物，就政治眼光和魄力而言根本不能同堵胤锡、张煌言相提并论。 （顾城评价）
“张苍水的级别是南明兵部尚书，相当于现在的国防部部长，他不像岳飞，祭礼是不能按皇家规格来办，不能戴黄巾，由他的官阶品级决定。”（丁云川评价）
挺身赴难，舍己为国，虽困犹斗，九死未悔者。这些人当形势极其严峻，国家、民族、人民面临危难之际，挺身而出，以天下为己任，主动承担责任。挽狂澜于既倒，扶大厦之将倾。他们唯一考虑的是国家、民族、人民的利益，坚持正义，反对邪恶，甘洒热血，不惜牺牲个人一切。所谓明知山有虎，偏向虎山行，敢同凶敌斗争到底，赴汤蹈火，困而不馁，危而不怯，视死如归，舍生取义。（张玉兴评价）