，韓..胄又提拔他的黨徒京镗取代羅點的職位，趙汝愚開始被孤立，皇上更加無所倚仗和信任的人了。
于是中書舍人陳傅良、監察禦史吳獵、起居郎劉光祖先後被排斥，群臣邪佞附和韓..胄，視正直之士如仇敵，而士大夫之禍開始。
韓..胄想驅逐趙汝愚而難以找到名目，有人教他說：“他與宗室同姓，誣陷他陰謀危害國家，那麼就把他及私黨一網打盡了。
”韓..胄認為這個方法很好，于是提拔他的私黨将作監李沐為正言。
李沐，是李彥穎的兒子，曾向趙汝愚求節度使一職未得到，他奏道：“趙汝愚因為與宗室同姓而居相位，這将不利于國家，請求皇上罷去其權。
”趙汝愚被趕到浙江亭待罪，于是被罷除右相之職，任觀文殿學士、福州知州。
台谏大臣一起奏請去掉他的郡守的職務，于是趙汝愚以大學士身份提舉洞霄宮。
國子祭酒李祥說“：去年國家遭遇大的變故，内外議論紛紛，留正棄相位而走，官僚們幾度要解散，軍民都将會作亂，兩宮消息隔絕，孝宗死了，國喪無人主持。
趙汝愚以樞臣身份獨獨不避開身死滅族之禍，奉太皇太後的命令，幫助陛下登上帝位，對國家有顯著功勳，對君主的精忠貫穿于天地，而突然受人暗算離朝，天下後世人會怎麼看呢？”博士楊簡也如此說。
李沐彈劾李祥、楊簡，罷黜了他們。
太府丞呂祖儉也上書訴說趙汝愚的忠心，皇上下诏說呂祖儉與同黨相互勾結欺騙皇上，把他安置到韶州。
太學生楊宏中、周端朝、張..、林仲麟、蔣傳、徐範等人伏在宮殿前說：“去年人心慌恐，變故在朝夕之間。
當時如果不是趙汝愚出死力，定大策，即使一百個李沐，也不知道如何渡過難關。
當國家多難時，趙汝愚位居樞府，掌握兵權，指揮操縱一切，要國家朝哪個方向都行，但他不因此乘機謀劃，今天上下安甯，他又怎麼會有異心呢？”奏書呈上後，太學生們全被送到五百裡外管制。
韓..胄對趙汝愚的怨恨更深了，認為不大大貶斥他，人們的議論不會終止。
由于中丞何澹的上疏，趙汝愚被落職為大觀文。
監察禦史胡..上書說趙汝愚誘引大臣為自己的黨徒，圖謀不軌，乘龍授鼎，假夢為符。
朝廷貶趙汝愚為甯遠軍節度副使，把趙汝愚安置在永州。
當初，趙汝愚曾夢見孝宗授給他湯鼎，背着白龍升天，後保護甯宗素服登上皇位，是為驗證，而讒言者以此指控趙汝愚。
當時汪義端提出，引用漢代殺劉屈..、唐朝殺李林甫的事例，暗示甯宗殺掉趙汝愚。
迪功郎趙師召也上書乞求殺趙汝愚。
趙汝愚怡然啟程，他對諸子說：“看韓..胄的意思，一定想殺死我，我死了，你們才可能幸免。
”趙汝愚到衡州時疾病發作，被守臣錢鍪所困迫，突然死去，天下人聽說後為他感到冤屈，當時是慶元二年(1196)，正月壬午日。
趙汝愚做學問務求學以緻用，常常把司馬光、富弼、韓琦、範仲淹作為自己學習的榜樣。
凡是平時從師友處聽到的，如張木式、朱熹、呂祖謙、汪應辰、王十朋、胡铨、李焘、林光朝所說的話，他都想依次做到，但沒有來得及施行而身死。
趙汝愚所著的詩文有十五卷、《太祖實錄舉要》若幹卷、《類宋朝諸臣奏議》三百卷。
趙汝愚聚族人而居，家裡有三百人，他所得的糧物全部分給他們，菜湯蔬菜食物，按所得多少平均分配，人們沒有不滿之言。
趙汝愚自己生活很清苦，為夕郎時，冬天穿布衣，為相時也是如此。
趙汝愚已經死去，黨禁漸漸解除，不久朝廷恢複他資政殿大學士、太中大夫之官職，不久又贈他為少保。
韓..胄被殺後，趙汝愚全部恢複了原來的官職，朝廷賜他谥号“忠定”，贈他為太師，追封他為沂國公。
理宗時下令把趙汝愚衤付祭在甯宗廟裡，追封為福王，其後又封為周王。
趙汝愚有九個兒子，趙崇憲是他的長子。