呂祖謙，字伯恭，是尚書右丞呂好問的孫子。
從他祖父時候起，其家便居住在婺州。
呂家向為書香門第，藏書甚豐，這就給呂祖謙小時候的啟蒙教育及後來從事學問研究提供了極為便利的條件。
成人後，呂祖謙與林之奇、汪應辰、胡憲等人交往密切。
并與張木式、朱熹等理學名流成為好友。
他們在一起相互探讨，切磋理學有關問題。
學問做得既深又細。
起初，呂祖謙受父蔭進入仕途，後來通過自己的努力考取進士，中的是博學宏詞科，遂調南外宗教，服母喪期間，呂祖謙住在明擡山上，由于他有名聲，所以許多名士、學子都前去向他求教、問學。
不久，呂祖謙被授為太學博士，當時中都官在等待引見皇上、正式赴任前按規定補外，遂以添差官的身份教授嚴州，旋又被朝廷召為博士兼國史院編修官、實錄院檢讨官。
在任職期間，他曾建議皇帝留意聖學，并說：“要恢複大業，應當定規模，審方略。
陛下方廣攬豪傑，共集事功，我願精加考察，将政策方略拟定好，并分清主次，排定先後，使那些僥幸之言無立足之地，然後與一、二位大臣商定後分别奏呈皇上，頒布實行。
這樣一來，就可伸大義，複大業了。
”
呂祖謙被召試館職。
召試前，許多人到學士院打聽題目，獨呂祖謙不以為然。
但召試結果，呂祖謙的章特别典雅優美。
呂祖謙曾經讀過陸九淵的文章，且非常喜歡，但并不認識這位後生，在負責禮部考試的時候，呂祖謙閱鑒一份答卷後說“：這肯定是江西小陸的文章。
”揭開彌封一看，果如其言。
人們因此都贊歎呂祖謙有精湛的鑒别才能。
父親死後，免喪，主管台州崇道觀。
過了三年，呂祖謙外任秘書郎、國史院編修官、實錄院檢讨官。
因為修撰李焘的推薦，呂祖謙得以參與重修《徽宗實錄》的工作