張佩綸婚後一直住在天津北洋總督衙門內，著意迴避政治。但原本是政治中人，又是「宰相」李鴻章的女婿，還住在「政治旋渦」的北洋總督府內，最終未能逃避政治。1894年7月，中日甲午戰爭爆，豐島海戰中方失利，支援牙山的部隊沉於海底；陸路駐守牙山的中**隊因敵眾我寡而失利。8月1日，清政府向日本宣戰。甲午戰爭，事關重大，李鴻章當其沖，張佩綸自不能免，此時他在北洋總督府亦不能不對此屢議論、屢提建議，一些建議與李的其他幕僚不合，因此得罪了一些人。就在清政府對日宣戰之後、平壤戰役全面展開之前，朝廷突然下詔，將張佩綸逐出天津，勒令其立即回原籍。原來禦史端良奏劾張佩綸，說他以罪臣身份待在北洋總督府，緊隨李鴻章，「居北洋幕中，妄乾公事」，應對這幾次戰爭失利負責。奏劾張佩綸，是軍機大臣、醇親王親信孫毓汶和北洋總督衙內李鴻章的幾個親信共同策劃的結果。因為孫向來以貪著稱，十幾年前張佩綸就參劾過他，故一直想找機會報一箭之仇。李鴻章左右則因對張提的意見不滿而生忌恨，其中主角竟是李鴻章長子李經方。郎舅失和，反目成仇。

不得已，張隻得離開天津，但他提出想去南京，因張在直隸豐潤老家已無直系親屬，且張自幼在南方長大，更習慣南方生活；朝廷則認為豐潤離天津太近，所以也同意他到南京。1895年初春，中**隊節節敗退之時，被逐出北洋衙門的張佩綸攜妻南下南京。隨後幾年國事蜩螗，張佩綸「憂傷君國」卻又對政壇深感失望，無可奈何。1900年秋，慈禧急盼李鴻章北上與列強「議和」，尤怕自己被列為應受懲罰的「禍」，盼李與列強交涉，使自己免受懲罰。這時，慈禧又下旨重新起用張佩綸，賞他為翰林院編修，隨同李鴻章辦理交涉事宜。但張並無意於此，經多次催促才在1901年初談判基本結束時前往北京。在形勢逼迫下，慈禧也下詔變法，開始行「新政」，設立「督辦政務處」統辦全國新政，慶親王奕劻、榮祿、王文韶等人擔任督辦政務大臣，張佩綸被任命為襄辦。不過，他對於仕途已意興闌珊，不顧眾人勸說堅辭不就，離京返寧。李鴻章於1901年深秋在北京逝世時，張佩綸在南京未及奔喪。

1902年至1903年，此時已是「天下名臣」的張之洞暫署兩江總督，來到南京。多年老友近二十年未見，在此期間卻只見了一面。箇中原因，說法不一。一說是張之洞知道朝廷不喜張佩綸，故百般推脫。另一說法則正好相反，謂張之洞來寧後多次想見張佩綸，但後者因當年同僚如今天壤之別而以病辭之。不論哪種說法，終歸最後還是見了一面。回當年意氣風，今天物是人非，二人垂淚而別。1903年初，張佩綸於潦倒中在南京病逝。1909年秋，已是體仁閣大學士、軍機大臣的張之洞在北京病逝，清廷頒佈上諭高度贊其一生並賜謚號「文襄」，可謂備極哀榮。

不過，從某種意義上說，「二張」最終的命運卻完全一樣：「*」中響應「橫掃一切牛鬼蛇神」之「偉大號召」的紅衛兵，在1966年11月8日掘開了張之洞與三位夫人合葬在家鄉河北南皮縣雙廟村的墳墓，四人屍骨被曝荒野，任人撥弄踢踹，不知所終；1967年10月24日，紅衛兵掘開張佩綸與夫人合葬在家鄉河北豐潤大齊坨黑山溝的墳墓，二人屍骨完好，被紅衛兵用鍬鎬搗爛。