洪遵字景嚴，洪皓的次子。
在兒時就端正莊重如同成年人。
随從老師學習文化，不因為天時寒暑而中止。
父親滞留北方沙漠，母親去世，洪遵孺慕敬愛母親，抱母号哭。
安葬之後，兄弟便住在廟中學習文化，夜枕書籍不解衣安寝。
由于父親之故被蔭補為承務郎，同兄長洪适同時參加博學宏詞科考試，中首名，被賜為進士出身。
高宗因洪皓出使遠方，擢升他為秘書省正字。
宋建立以來，考中博學宏詞科便入館任職，從洪遵開始。
宰相秦桧兒子秦火喜任長官，談笑之間提拔罷免官屬，洪遵恬然自處不肯依附他，因此兩年沒有升遷。
洪皓南歸，同朝廷議論不同，被逐出朝廷。
洪遵于是請求外任，任常、婺、越三州通判。
紹興二十五年(1155)，湯思退推薦他，又入朝任正字。
八月，兼權直學士院。
湯鵬舉任禦史台長官，秘密推薦洪遵為禦史。
正當要下令時父親去世消息傳來。
二十八年(1158)，免除服喪，奉诏入對，極力陳述父親冤枉，說“：先父與龔王壽同時出使，龔王壽是在劉豫手下出任官職，因為肆意殺害兵官被劉豫誅殺，而秦桧追贈他節旄，擢用他的兒子。
先父拒絕金朝的任命，滞留十五年才得以歸來，反而被流放到南方嶺外，臣兄弟也被屏棄在外。
秦桧不分忠逆竟到了這種地步。
”高宗詳細地告訴了他洪皓被诽謗的情況，并且說：“你再次進入三館，曾主持诏令，今天讓你修起居注。
”于是任命他為起居舍人。
洪遵上奏請求将經筵官的任免和封章進對、宴會賜予、講讀問答等事，彙編成一書，名字叫作《迩英記注》。
此後乾道年間又有《祥曦殿記注》，實際上是從洪遵開始的。
又乘當面問對之機，論述鑄錢的利害得失，皇帝嘉獎采納了他的意見。
遷任起居郎兼樞密院都承旨。
原來的制度，修注官、經筵官允許留身奏事，而近來沒有這樣的事例。
洪遵上奏請求恢複舊制，并說起居注已有十五年沒有修撰，請求除現修月進外，每月帶修，皇帝都聽從了他。
紹興二十九年(1159)，任中書舍人。
殿前偏将輔逵轉任防禦使，王綱轉任團練使，洪遵說：“近來規定管軍官十年才能一遷，現在兩人任期不滿，怎麼能得此官職？”當時勳臣子孫大都超越等級位居台省，洪遵極力論說請求明令禁止。
高宗說“：正立法，從今以後功臣子孫可以序遷至侍從，并令久任在京宮觀。
”洪