以六條規則限制壓抑上書言事的人，虞允文上書力陳不能這樣做，皇上聽從了他的意見。
恰逢孝宗生日，金國使者烏林答天錫前來拜見，此人是金主完顔褒的女婿，态度惡劣，狂妄自大，堅持要求孝宗降低身份詢問完顔褒的日常生活，向金主請安，孝宗不肯答應，烏林答天錫就跪地不起，周圍的侍從驚慌失措，無以應對。
虞允文請孝宗立即起駕回宮，然後告訴烏林答天錫說“：大宋皇帝既然已經起駕回宮，就不會再回此殿了，金使就随大臣們一起上朝祝壽吧。
”烏林答天錫因羞慚而退出朝殿。
宋孝宗認為仆射的名稱不太合适，将其改為左、右丞相。
乾道八年(1172)二月，任命虞允文為特進、左丞相兼樞密使，梁克家擔任右丞相。
虞允文曾經舉薦梁克家代替自己，皇上沒有同意。
這個月，虞允文又以病要求解除自己的重要職務，又稱贊梁克家老成持重有宰相的氣度，到這時，梁克家開始與虞允文一同為相。
孝宗又下手诏問虞允文“：我準備提拔一名武将任樞密使，你認為曹勳如何？”虞允文說曹勳人品卑劣，氣量狹小，無特殊才能，不可任用此人。
不久，皇上任命張說任簽書樞密院事，右正言王希呂與台谏官交相彈劾張說。
孝宗對王希呂非常厭惡，手诏将王希呂發配到險惡的邊遠地區。
虞允文扣留了手诏，皇上愈加憤怒。
梁克家說“：王希呂評論張說，是台谏官的責任，虞允文救王希呂，是為了國家的大體着想。
”孝宗怒氣逐漸消去，最終減輕了對王希呂的懲罰。
四月，禦史蕭之敏上書彈劾虞允文，虞允文上奏章等待定罪。
皇上去德壽宮拜見高宗，太上皇說：“采石大捷時，蕭之敏在哪裡？不要聽從他的意見，将蕭之敏罷官趕走。
”孝宗因這件事準備罷黜蕭之敏，并在折扇上題詩以挽留虞允文。
虞允文認為蕭之敏品行端正，請求皇上将其召回宮中以廣開言路。
孝宗深感他為人寬厚善良，命曾懷将這件事記載在《時政記》裡。
宋孝宗诏令選拔谏官，虞允文推薦了李彥穎、林光朝和王質三人，他們三人皆為人耿直、光明磊落，并以文學才能著稱于當時，因此虞允文薦舉他們，很長時間卻沒有答複。
曾觌也推薦一人，立即賜進士，提拔為谏議大夫。
虞允文、梁克家據理力争，皇上不肯聽從。
虞允文請求離職，被授予少保、武安軍節度使、四川宣撫使，并加封為雍國公。
向孝宗辭行，孝宗告訴他進取的方法，并期待着有一天與他會師于河南。
虞允文說“：将來要防備内外不能遙相呼應。
”皇上回答：“假如蜀軍出征而我們遲遲不率軍隊出發，就是我有負于你；假如我率軍出征而你遲遲未能響應，就是你有負于我。
”孝宗親自來到正宮，敬酒賦詩，以隆重的儀式歡送他，并賜給他宗廟祭器。
乾道九年(1173)，虞允文到達四川。
當時駐川官軍每月僅發給一石五鬥米，無法贍養家人，虞允文捐獻宣撫司三十萬錢用以換米，按官兵家中人口數目增加供給。
虞允文訂立七條民戶養馬以供軍用的規則，從民間搜求大批良馬，奏請皇上同意後挑選大批青壯年進行訓練，作為戰争儲備力量。
當初，北部邊界有一名叫寇鄰的人，有部衆數萬人，活動在商州、虢州一帶，虞允文主持朝政後他按時向南宋政府交納賦稅，等到虞允文到達四川後，再次派人緻書虞允文，虞允文沒有立即答複他們，僅僅打算拖延羁縻他們。
時間不長，寇鄰的密謀被金人發覺，金人秘密派人将他逮捕。
葉衡上奏疏向孝宗報告了這件事，虞允文上奏為自己辯解，并請求去職，隻領俸祿，沒有得到答複。
孝宗曾經對虞允文說：“靖康之恥，我将與丞相共同雪洗。
”又說“：我隻有功業不如唐太宗，富庶不如漢文帝、漢景帝。
”因此虞允文向皇上許諾共同恢複中原，以圖統一大業。
虞允文到達四川一年後，仍沒有确定進兵日期。
宋孝宗賜密诏催促他，虞允文回答軍需還沒有準備完畢，皇上很不高興。
淳熙元年(1174)，虞允文去世。
四年後，孝宗到白石舉行閱兵大典，看到士兵都年輕力壯，很有戰鬥力，對手下大臣說“：這都是虞允文實行優勝劣汰，對士兵進行裁減淘汰的結果。
”不久下诏追贈虞允文太傅，賜谥“忠肅”。
虞允文身材高大，相貌雄偉，身高六尺四寸，為人慷慨，光明磊落，胸懷大志，一言一行都很有分寸，一看便知是可以委以重任的人才。
他早年曾以文學才能效力于台閣，晚年時時政日益艱難，前後出任将相近二十年，孜孜不倦，忠誠勤懇，任勞任怨，沒有任何怨言。
他曾經為《唐書》、《五代史》做注釋，收藏在他家中。
著有詩文十卷，《經筵春秋講義》三卷，《奏議》二十二卷，《内外志》十五卷，皆流傳于後世。
虞允文有子三人：公亮、公著、杭孫。
孫八人，都愛好學習、研究，其中隻有剛簡最為知名，嘉定中葉，帝屢召不至，官終利路提點刑獄。