他首先彈劾張孝祥奸邪程度不亞于盧杞，張孝祥于是被罷職，提舉江州太平興國宮，于是湯思退的門客漸漸被驅逐。
不久張孝祥任撫州知州。
他年紀不到三十，處理事情很精明、準确，州縣中很老練的人比不上他。
孝宗即位後，張孝祥又任集英殿修撰、平江府知府之職。
事務繁重艱巨，張孝祥一一加以分析解決，知府庭上沒有滞留的案件。
平江府所屬縣中的大姓把海中利潤一起裝入自己口袋獲得暴利，張孝祥派人捕捉他們并加以處理，沒收其家谷粟幾萬斛。
第二年，吳中饑荒，一直靠這些糧食赈濟百姓。
張浚從蜀國回到朝廷，向皇上推薦張孝祥，皇上召張孝祥前往行在。
張孝祥既然一向被湯思退所賞識，等到他被張浚推薦，湯思退感到不悅。
張孝祥進宮回答皇上的問題，于是陳述：“二位宰相應當同心協力，以輔佐皇上完成恢複國家的大任。
況且靖康以來隻有和與戰兩種意見，留下無窮的禍害，必須先制定自治之策來對付現在的形勢。
”又說“：選用人才的路太狹窄，請求廣泛征擇朝外有識之士以備緩急之用。
”皇上認為很對。
張孝祥拜官中書舍人，不久拜官直學士院兼都督府參贊軍事。
不久又兼任建康留守，因為言官的意見改任敷文閣待制，留守之職照舊。
遇金再次入侵邊境，張孝祥陳述金的目的不過是想結盟約。
宣谕使彈劾張孝祥使之失去職位，被罷黜。
張孝祥複職為集英殿修撰、靜江府知府、廣南西路經略安撫使，他治政有聲有色，大有作為，又因為言官的意見被罷。
不久張孝祥被起用任潭州知州，治政簡明易行，不時以威力佐政，湖南于是平安無事。
張孝祥恢複待制，改任荊南、荊湖北安撫使。
他組織修築了寸金堤，從此荊州沒有洪水之患，又設立萬盈倉來儲備各種漕運的糧食。
張孝祥請求管理一祠觀，後因病死去，孝宗感到十分惋惜，有用才不盡的感觸。
張孝祥進為顯閣學士緻仕，終年三十八歲。
張孝祥才智出衆，文章水平超過一般的人，尤其工于筆墨，曾親自書寫奏劄，高宗看了後說他：“将來一定聞名于世。
”不過宋朝南遷之初，朝廷内部主要意見隻有和與戰二種，張浚主張複仇，湯思退因襲秦桧的意見力求議和，張孝祥出入這二人之門而持二種意見，态度不明朗，人們為他感到惋惜。