話說因為配享的事，張廷玉被乾隆趕回了老家。
正當他夾著尾巴不敢惹事時，所謂樹欲靜而風不止，沒多久他又有麻煩了。
原來，四川學政朱荃為多撈點主考官的外快而隱瞞母喪消息，其「匿喪趕考」，為御史儲麟趾所參。
這事本與張廷玉無直接關係，但朱荃曾受張廷玉舉薦，兩人又是兒女親家，乾隆厭惡張廷玉，結果把他也給扯上了。
事後，乾隆派內務府大臣德保前往張廷玉老家抄查追繳以往三代皇帝對張廷玉的一切賞賜。
乾隆十五年（1750年）八月，欽差大臣德保來到張家後，隨即命人開箱砸櫃，大肆查抄，幾成挖地三尺之勢。
應該說，張廷玉持身清正，並無太多財產。當然，這不是德保來此的主要目的，其所奉密旨其實是借追繳名義嚴查張廷玉的私人文件及藏書，看看老張對乾隆究竟有無怨懟之詞。
所幸的是，張廷玉為人確實謹慎，德保費了老大勁，仍舊一無所獲。
按說，退休高官休致回家後，通常會寫點筆記、回憶錄什麼的，即便不對外公開，給兒孫們看看藉以勵志也是常有之事。
但是，張廷玉雖留有文字，但絕不涉及政事，更別說什麼秘聞了。
德保查抄了張廷玉數百封私人書信，但其中均為家常瑣事。
張廷玉也自編了一本年譜，但其中只記載了自己一生大事，涉及三朝皇帝時只記「恩遇」、「賞賜」，而無一字涉及朝政及機密。
完事後，德保對老張真是佩服得五體投地——如此謹慎，都快成了精了！
既然沒抓到張廷玉的把柄，乾隆也只得悻悻然地說：「
德保實在胡鬧，只是讓他追繳賞賜之物，如何能胡亂抄張大學士的家？這萬一把老人家嚇著，看朕不追究你的責任！「
話雖如此，事情最終還是不了了之。
一再打擊下，張廷玉自是夾起尾巴，老實做人。據說，其居家期間，日日兀坐家中，終日不發一語。
回鄉五年後，張廷玉於乾隆二十年（1755年）去世，享年八十三歲。
消息傳到京城後，乾隆也覺得自己對張廷玉確實苛刻了點，說：
「要請之愆，雖由自取，皇考之命，朕何忍違？且張廷玉在皇考時勤慎贊襄，小心書諭，原屬舊臣，宜加優恤。應仍謹遵遺詔，配享太廟，以彰我國家酬獎勤勞之盛典。」
如此，被反覆折磨多次後，太廟的那塊冷豬肉最終還是擺到了張廷玉的嘴邊。終清一世，漢大臣而得配享太廟者，惟張廷玉一人而已。
略有遺憾的是，張廷玉諡「文和」而未能得「文正」，這或許也說明乾隆仍對其心存芥蒂。
乾隆四十四年（1779年），皇帝寫詩懷念昔日的五位大學士，其中張廷玉的一首有這樣幾句：
「懸車回故里，乞言定後榮。斯乃不信吾，此念詎宜萌。……後原與配食，遺訓敢或更。……斯人而有知，猶應感九京。」
詩後，乾隆自注云：
「張廷玉雖有過，余仍不加重譴，仍准以大學士銜休致，及其既卒，仍令配享太廟。余於廷玉曲示保全，使彼泉下有知，當如何銜感乎？」
這段話，譯成白話就是：張廷玉雖然犯錯，但朕並未嚴懲，仍准許其以大學士銜退休。及至去世，朕仍令其配享太廟。
如此優容保全，如張廷玉地下有知，又該當如何感激涕零？
乾隆一向自高自大而幾近於自戀，連死人也被他拿來自我陶醉，這幅吃相真是當然難看。
當然，乾隆有時也不乏自知之明。張廷玉去世三十年後，乾隆臨雍視學，其想起當年曾欲舉行三老五更古禮，「彼時鄂爾泰依違其間，張廷玉則斷以為不可」。
乾隆四十三年（1778年），乾隆自撰三老五更說，命勒碑辟雍，而其所見與張廷玉同。
乾隆五十年（1785年），乾隆復見張廷玉所議，遂命勒碑其次，並題其後，謂張廷玉「有此卓識，乃未見及」，「設爾時勉強行之，必有如廷玉所謂資後人之議者矣」；
「蓋戊午朕方廿八歲，而戊戌則六十有八，此亦足驗四十年間學問識見之效，而年少時猶未免有好名泥古之意，至今則洒然矣」；
「以識已學之淺深，及弗掩人之善也。夫廷玉既有此卓識，何未見及朕之必不動於浮言。」
最末，乾隆又加了一句，說「朕必遵皇考遺旨，令其配享。古所謂老而戒得，朕以廷玉之戒為戒，且為廷玉惜之。」
由此可見，乾隆對張廷玉冒犯之事始終未能釋懷，這大概也是張廷玉備受折辱的原因了。