困擾，故意表示強大來試探一下中國，如果急忙聽從它，必然以為我朝沒有人才，更加輕視我朝了。
”秦桧說“：你不要說我朝沒有人才。
”不久洪皓又上奏說“：恐怕因為不放還官員的緣故，有可能導緻破壞盟約，應該告訴他們說：‘等到淵聖和皇族歸來後，再放還。
’”又說：“王倫、郭元邁以身殉國，遺棄不管，以後遇到危急怎麼能讓大臣效命？”秦桧大怒，洪皓又說到和室扌然互相聲息，秦桧更加惱怒，這些記載在《秦桧傳》中。
第二天，侍禦史李文會彈劾洪皓沒有探視母親，被逐出朝廷出知饒州。
第二年，發生水災，中官白锷宣傳：“處置調理乖度無方，洪尚書名聞天下，為什麼不用他？”秦桧聽說更加惱怒，把白锷關入大理寺獄中，不久又流放到嶺表。
谏官詹大方于是彈劾洪皓和白锷是刎頸之交，兩人互相吹捧，于是洪皓被罷免提舉江州太平觀。
白锷當初不認識洪皓，隻是随從太後從北方歸來，在金國時聽說洪皓的大名。
不久為母親服喪，有人還在說洪皓鄙視宰相，被貶為饒州通判。
李勤又依附秦桧誣陷洪皓散布欺騙世人的謠言，又貶為濠州團練副使，到英州安置。
在此位停留九年，才複任朝奉郎，遷移到袁州，到南雄州去世，時年六十八歲。
他去世後一天，秦桧也死了。
高宗聽說洪皓去世，嗟歎惋惜，追複他為敷文閣直學士，贈給四官。
過了很久，又追複徽猷閣直學士，谥号“忠宣”。
洪皓雖然長期被扣留金朝，經受了難言的苦楚，但被金人敬佩，他所著作的詩文，被人們争相抄錄傳誦刻版印刷。
歸來後，金朝使者每次來到時，都一定詢問洪皓任何官，居在哪裡。
性情耿直忠義，即使是面臨艱難危險也沒有絲毫改變，懿節後的親戚趙伯王..隸屬悟室之下，十分貧寒，洪皓接濟他。
範鎮的孫子範祖平為人做奴仆，洪皓請求金人釋放了他。
劉光世小妾所生的女兒給人養豬，洪皓為她贖身然後讓她出嫁。
其他貴族流落卑賤的人，都盡力扶持接濟。
隻被秦桧所嫉恨，沒有死在敵國，反而死于讒言奸佞之手。
洪皓學問淵博長于記憶，著有文集五十卷和《帝王通要》、《姓氏指南》、《松漠紀聞》、《金國文具錄》等書。
兒子洪适、洪遵、洪邁。