人好像很忠心，特别奸邪的人好像很聖明，人君免不了信任并提拔他們。
開始看不見什麼大過失，時間長了漸漸地就會出現差錯，那麼輔佐朝政的大臣不能不管，議論的士大夫将不能不說。
管的緊，能不懷疑他們侵權？說的多，能不認為他們謀求恩寵？如果這樣的話就不僅是是非邪正的位置颠倒了，而且進退人才的原則也違背了。
”他又說：“外人能堵住我們的耳朵、弄花我們的眼睛、擾亂我們的心，是我們沒能做到虛一而靜。
如果做到了這一點，用聲色引誘我們也不能陷進去，用财物賄賂我們也不能去符合他們，用功名煽動我們也不能動搖，我們既堅強又清廉，誰能幹擾我們呢。
”趙汝談改任秘書少監兼權直學士院。
當時朝廷決定出兵，趙汝談反複講不可輕易開戰，但講和也不是好的計策。
不久宋兵收複了三京，即使先前說用兵不利的人也高興，隻有趙汝談面帶憂慮。
不久，洛陽兵敗，朝中的議論才佩服他有先見之明。
趙汝談升為宗正少卿，兼任權直，兼編修國史、檢讨實錄，兼崇政殿說書。
他趁講解《論語》時說漢元帝端正、嚴肅、儉樸，沒有過錯，隻是因為他不能改變自己的固執，雖清明卻不能推究，優柔寡斷，漢朝的基業才衰落。
趙汝談為權吏部侍郎，升為侍讀，兼直學士院，兼同修國史院同修撰，以自己注釋的《易》向皇上講解。
當時朝廷決定按畝核算錢，趙汝談認為不利，違背了當時宰相的意思。
京城發生軍隊變亂，宰相請求貶官，皇上已答應，趙汝談上奏認為這樣恐怕有失大體，不可行。
他起草答诏，認為貶官容易，制定好措施難，宰相更不高興。
趙汝談因論事離開朝廷，擔任提舉崇禧觀的官職。
他被重新任用為婺州知州，四次推辭都沒允許。
到婺州後，又極力請求擔任管理宮觀的閑職。
朝廷召他入京，他四次推辭。
趙汝談為權禮部侍郎兼直學士院，他極力推辭兼直。
當時剛打敗金兵，三帥增加官俸，按功勞提高官錢，四郡獲得獎賞。
隻有趙汝談感到