退名画
张廷玉笃爱长子张若霭。张若霭少年登科，书画皆精妙，尤善鉴赏。一日，张廷玉到一属官家，看到一幅名人山水画，十分欣赏，回家后，便在其子面前对那幅画大加赞赏。其子误以为父亲很想得到这幅画，于是擅自从那位官员家把画要来，挂于书房。张廷玉晚上归来见到了这幅画，大惊失色，责骂儿子：“我无介溪之才，汝有东楼之好矣。”意思说，你怎么随便夺人之好呢？其子跪着向父亲谢罪，旋即将画归还其主，张廷玉这才作罢。
驭吏之严
张廷玉性情宽厚，而驾驭官员特别严厉。他主管吏部时，知道有一个老奸巨猾的官吏张某，人称张老虎。此人一贯舞文弄法，中央和地方的官员经常受到他的伤害。张廷玉命令有关部门重惩张老虎，朝中权贵中有许多人出面营救，张廷玉不为所动。一时人们称张廷玉为伏虎侍郎。
一天，张廷玉坐在堂上办公，官吏拿来一份文件，说：“这份文件中的'元氏’县被写成‘先民’县，应该驳回质问原省。”张廷玉笑道：“如果‘先民’被写成‘元氏’，那是外省的错误，现在’元氏‘被写成’先民‘，那是书吏略添笔画以便勒索外省罢了。”于是一并处罚并驱逐那个狡猾的官吏，然后将文件的错误更改。
文思敏捷
除了编史，张廷玉最主要的任务就是缮写上谕。西北战事开始之后，张廷玉协助雍正完善了军机处。军机处后来成为国家军政大事的决策机构，而张廷玉就是其中的办事大臣。军机大臣虽不参与决策，只是“跪受笔录”，但平日缮写上谕、处理文书既是一项体力劳动、也是脑力劳动，而张廷玉都能办得井井有条，未曾出过岔子。雍正每次口授片刻，张廷玉便可拟就，即便每日十数次也是如此，其文思敏捷实难一般人所能企及。
在清廷对准噶尔用兵吃紧之际，羽檄交驰，每日属吏请求张廷玉指示和批阅的文件常达数百件，但即便如此，张廷玉也没有耽搁或是做错过一件事。史载他时常坐在轿中还在办公，甚至傍晚回到家中还要熬夜加班，以使第二天能及时拿出处理意见。雍正皇帝称赞道：“尔一日所办，在他人十日不能及也。”
后事之烦
张廷玉的麻烦还在后头。张廷玉有一婿系吕留良案内之人，而且在四川学政任上有枉法行为。乾隆十五年几乎籍没张的全部财产，后从轻改为罚金，并责令尽缴任官50年来所得各项御赐物件。
整治吏治
康熙末年，吏治松弛铨政不清，张廷玉时任吏部左侍郎，坚决摒除请托行贿之风，并严惩了奸胥滑吏并顶住各方压力严惩了吏部舞文弄法的蠧吏“张老虎”，被时人成为“伏虎侍郎”。
文章之事
张廷玉为军机大臣时，“西北两路用兵，内直自朝至暮，间有一二鼓者”。八、九年间，雍正身体不好，“凡有密旨，悉以谕之” 。由于撰写谕旨的需要，雍正每天召见张廷玉多达十几次。 雍正即位第一年，张廷玉即升为礼部尚书，后又长期担任大学士和军机大臣，可是他在雍正朝所做的主要工作，又确确实实是这些文字工作。就连雍正本人，也认为张廷玉的作用是“纂修《圣祖仁皇帝实录》宣力独多，每年遵旨缮写上谕，悉能详达朕意，训示臣民，其功甚巨。”承认他的功劳在于文字。且张廷玉所草之上谕，全合雍正本意，是以屡获表扬。
先后任《亲征平定朔北方略》纂修官，《省方盛典》、《圣祖实录》副总裁官，《明史》、《四朝国史》、《大清会典》、《世宗实录》、《玉牒》总裁官。
军机制度
雍正八年（1730年因西北用兵，雍正皇帝命设军机房，以怡亲王允祥、张廷玉和大学士蒋廷锡领其事。“军机处初设，职制皆廷玉所定”。（《清稿史·张廷玉传论》）张廷玉定规制：诸臣陈奏，常事用疏，自通政司上，下内阁拟旨；要事用摺，自奏事处上，下军机处拟旨，亲御笔批发。”身为军机大臣的张廷玉每天一定被召入内廷以备应对，秉承圣旨，评议奏章政务，参与国家机密的商讨。
军机处成为清朝的中枢机构并深深影响清代中后期的历史。张廷玉制定军机处廷寄办法，创廷寄之法，既保证了中央政令的严格贯彻，速度又较前加快，从而提高了清朝政府的行政效率。
奏章制度
清朝入关之初，沿袭前明旧制，官员有事报告皇帝，公事用题本，私事用奏本。题本盖印，奏本不盖印。这两种文书都是公开的，不利于下情上达；而且题本办文程序繁琐，还容易泄密。雍正年间，张廷玉把奏折制度化，稍微重要一点的事务，地方官员都先撰拟奏折，经过皇帝朱批，认可了，才写题本作正式报告。但奏折中的朱批内容，不得写入题本。题本由此成为官样文章，奏折代替了原来题本的作用，成为主要官方文书。这一制度坚持到清末。
《清史稿·张廷玉传》载：“廷玉定规制：诸臣陈奏，常事用疏，自通政司上，下内阁拟旨；要事用折，自奏事处上，下军机处拟旨，亲御朱笔批发。自是内阁权移于军机处，大学士必充军机大臣，始得预政事，日必召入对，承旨，平章政事，参与机密”。此外张廷玉还制定了完善的保密制度，为了保证奏折的内容不致泄漏，清廷定立了一整套保密制度，使奏折制度更加完善起来。
自此以后，作为一种官文书制度的奏折制度才被确立下来。 它不仅牵涉朝廷政令的推行，而且关乎君臣间权力的分配。它的确立和军机处的设立一样，都是清朝官僚政治上的重大变化，对清朝中后期的政治产生了十分巨大而深远的影响。
配享太庙
雍正十三年（1735年）八月，雍正临终留下了令鄂尔泰、张廷玉配享太庙的遗诏。
虽乾隆皇帝曾罢免张廷玉配享太庙的殊荣，但在张廷玉离世后，称张廷玉：“要请之愆虽由自取，皇考之命朕何忍违！且张廷玉在皇考时，勤慎赞襄，小心书谕，原属旧臣，宜加优恤，应仍谨遵遗诏，配享太庙，以彰我国酬奖勤劳之盛典。”在整个清朝配享太庙的十二名异姓大臣中，张廷玉是唯一的汉人。
初入仕途
清康熙十一年（1672年）出生于北京城。
康熙三十六年（1697年），二十六岁的张廷玉准备参加会试，但因张英（其父）奉命为总裁官而回避不试。
康熙三十八年（1699年），张廷玉的夫人姚氏离世，父亲张英登上相位。
康熙三十九年（1700年），考中进士，授为翰林院庶吉士。
康熙四十二年（1703年），张廷玉授翰林院检讨。开始担任《亲征平定朔北略》的纂修官。
康熙四十三年（1704年）四月，入值南书房。
康熙四十四年（1705年）后，多次随康熙南巡及巡行蒙古诸部。
康熙四十七年（1708年）六月，张廷玉母亲离世。九月，父亲张英离世。服阕，仍原官。
康熙五十一年（1712年）二月，充会试同考官。四月，授司经局洗马，兼翰林院修撰。
康熙五十五年（1716年），授内阁学士兼礼部侍郎。
康熙五十六年（1717年）十二月，充经筵讲官。
康熙五十七年（1718年）十月，充武殿试读卷官，十一月，充纂修《省方盛典》副总裁官。
康熙五十九年（1720年）五月，授刑部左侍郎。次年授吏部左侍郎，兼翰林院士。
深受重用
康熙六十一年（1722年） 十一月，康熙驾崩，雍正即位后张廷玉受命协同掌院学士阿克敦，励廷仪办理翰林 院文章之事。不久即提升礼部尚书，充任《世祖仁皇帝实录》一书的副总裁官。
雍正元年（1723年），张廷玉复值南书房，与朱轼等人同为诸皇子师傅。四月，任顺天乡试主考官。雍正嘉其公慎，加太子太保。八月，署理都察院事，兼管翰林院掌院学士事。九月，调任户部尚书。十月，张廷玉任四朝国史总裁官。
雍正六年（1728年）三月，晋保和殿大学士。不久又兼管吏部尚书事务。
雍正七年（1729年），雍正在隆宗门开始设立军机处，命张廷玉与怡亲王，蒋廷锡领其事。
雍正十三年（1735年），雍正皇帝病危，临终前，张廷玉与庄亲王大学士鄂尔泰等同为顾命大臣，遗诏他日以张廷玉配享太庙。
乾隆元年（1736年），张廷玉再次奉命为皇子师，仍兼管翰林院事。二月，乾隆帝亲谒景陵，张廷玉与王大臣留京总理事务。自此以后，皇帝每逢巡幸，张廷玉总是留京总理事务。
乾隆二年（1737年）十一月，授总理事务大臣，加拜他喇布勒哈番，特命进三等伯爵，赐号勤宜。
乾隆三年（1738年），罢总理事务之名而以大学士掌机要。
乾隆十一年（1746年），张廷玉的长子内阁学士张若霭病故。
乾隆十三年（1748年）正月，张廷玉老病乞休，乾隆帝执意坚留。
晚年坎坷
乾隆十四年（1749年），乾隆同意张廷玉辞官，命待次年春天舟行回乡，并制诗三章赠张廷玉。随后张廷玉入谢时触怒乾隆皇帝，降旨切责。廷臣请夺张廷玉官爵及罢配享，诏许削伯爵，以大学士原衔退休，仍配享。
乾隆十五年（1750年），皇长子刚去世不久，张廷玉再次请归，激怒了乾隆皇帝，于是命以太庙配享诸臣名示张廷玉，命其自审应否配享。
乾隆帝用大学士九卿议，罢配享，免治罪。随后归去。后来又因四川学政编修朱筌坐罪，命张廷玉尽缴颁赐诸物。
乾隆二十年（1755年），张廷玉卒于里第，享年八十四岁。死后葬于龙眠山，乾隆最终仍遵遗诏，命配享太庙。