麼我們就不理直氣壯了。
而且劉三嘏是契丹的近親，而逃跑前來歸順，這樣謀身，還能與他計謀國事嗎？接納他有什麼益處，還不如将他歸還契丹。
”于是将劉三嘏歸還契丹。
授職同平章事、集賢殿大學士兼樞密使。
杜衍喜歡推薦賢士，阻止佞幸之徒，因此小人多不高興。
他的女婿蘇舜欽，少年時就能寫文章，論議有些冒犯權貴，監進奏院，按照以前的慣例，祭祠神廟時要使用伎樂來使賓客得到娛樂。
集賢校理王益柔被杜衍推薦，有人說王益柔曾經戲作《傲歌》，禦史将王益柔、杜衍一一上奏彈劾，想以此使杜衍感到危難。
谏官孫甫說：“丁度因上奏問對求以大用，請求以此任用官吏。
”丁度知道孫甫上奏有誤，極力請求置對。
杜衍由于孫甫剛奉诏出使契丹，扣留了孫甫的上奏，丁度因此對杜衍十分懷恨。
到杜衍罷職，丁度起草诏書制令指責杜衍結納朋黨。
這時範仲淹、富弼想重新治理國事，與執政者不和，範仲淹、富弼已離京任宣撫使，上奏者附會執政者，更加攻擊二人的過失。
仁宗打算罷免範仲淹、富弼，杜衍獨自相助，但杜衍平日的議論，實際上并不是結納朋黨。
以尚書左丞離開京師任兖州知州。
慶曆七年(1047)，杜衍剛剛七十歲，上奏請求歸還官印，于是以太子少師緻仕。
杜衍任宰相，賈昌朝不高興，有人說以前的宰相一旦上章，得以三少緻仕，都不是過去的成例，這是由于賈昌朝壓抑他。
皇..元年(1049)，特地升任太子太保，奉召陪祀明堂，诏令應天府敦促派遣杜衍上道，都亭驿站設置帳具幾仗等待他，杜衍聲稱有病極力辭謝。
任太子太傅，賜予他的兒子同進士出身，又任太子太師。
知制诰王洙拜谒告歸應天府，朝廷下诏撫問，封為祁國公。
杜衍清廉正直不積聚私産，退職後，寄寓南都共十年，房屋簡陋狹小，隻有數十楹，居住好像寬餘。
出入随從的人約十來人，戴烏帽、穿皂绨袍、系革帶。
有人規勸杜衍穿居士服，杜衍說：“年老謝職，還可以盜用高士之名嗎？”善于寫詩，正書、行、草都有章法。
病重，仁宗派遣宦官賜藥，帶着太醫前去看望，沒有來得及，去世，終年八十歲。
追贈司徒兼侍中，谥号“正獻”。
告誡他的兒子努力忠孝，用一枕一席來進行裝殓，用小的墓穴低矮的墳冢來安葬。
曾自作遺疏“：不要由于長久平安而忽略邊防，不要因為已經富裕就輕視财産的節用，應當盡早地樹立皇太子，來安定人心。
”言語中沒有談到私事。