動。
正碰上錢端禮接受李宏玉帶一事曝光，這件事牽連了虞允文，被禦史章服攻讦而定罪，罷去官職，西歸故鄉主管宮觀。
乾道三年(1167)二月，又召回朝廷，再次擔任知樞密院事兼參知政事。
吳王..逝世後，朝廷讨論由誰接任他的職務，皇上對虞允文說：“吳王..已經去世，汪應辰恐怕不熟悉軍事，這個重任隻能交給你了。
以後凡事不要效法張浚的迂腐固執，軍中各種事情，你應該一一親臨觀察指導。
”皇上立即任命他為資政殿大學士、四川宣撫使，不久又下诏令虞允文繼續擔任知樞密院事。
虞允文回到四川僅一個月，又被召到朝廷，幾個月後又去四川。
太上皇宋高宗賞賜虞允文禦書《聖主得賢臣頌》，孝宗親自寫跋，虞允文向皇上辭行，孝宗又将自己的一雙鞋和甲胄賞賜給他。
虞允文經過郢州時，上奏疏建議修築黃鷹山城。
經過襄陽時，上奏疏建議修築府城。
八月到達漢中，又前往沔陽。
九月抵達益昌。
離開朝廷前孝宗下手诏要求他重視九件事，一路颠簸到達四川後，虞允文全部按皇上的指示行動，尤其将軍政要事放在首位。
又上奏疏報告檢閱了各支部隊實力後，準備按照士兵們體力強壯虛弱的次序将他們分為三部分，上等兵用以作戰，中下等兵用以準備軍用器械、糧草、服裝等行軍物質，老弱病殘士兵一律辭退。
此次行動共裁減士兵一萬人，為國家節約軍費開支四百萬。
對于被裁減的士兵中一些立有戰功、做出了成績的人，将他們安置在空缺位子上。
興州、洋州地區的抗金義士，都是一些民兵組織，紹興初年大約有七萬餘人，大散關戰役中，統帥不發給他們盔甲，卻讓他們在官軍前面沖鋒，使他們幾乎全軍覆滅。
虞允文命令利州元帥晁公武經過仔細查對後，共得士兵二萬三千九百餘人。
又得到陝西地區先進的弓箭制造及使用技術，參照紹興時技術編成一本書，讓将士們随身攜帶。
虞允文又将馬政交給張松，奏請依曆代舊制将茶馬分為川、秦司。
當初虞允文在樞密院任職時，蕭遮巴曾提議清理軍中士兵，虞允文曾奏請三衙把被清除的士兵加以安撫、收編。
到此時，金州、洋州、興元州從金朝歸順者二萬人，他們攔在路上訴說被拘捕、囚禁的痛苦，虞允文将官田分給他們，使他們得以重振家業。
虞允文打算結交敵将姜挺、白沂，并按照朝廷的指令招募鞏人王嗣祖，打算與邊境少數民族通好以共同對付金人，又得到蕃僧六彪等與他一同前往，可惜最後沒有簽訂協議。
當時邛、蜀十四州皆發生饑荒，向朝廷報告莊稼欠收的奏疏有六十五件，劍州将節餘錢帛五萬捐獻災區，朝廷沒有接受。
乾道五年(1169)八月，虞允文被任命為右仆射、同中書門下平章事兼樞密使。
虞允文多次推薦知名人士，如洪适、汪應辰。
等到升任宰相後，将各種人才分為三等編入名冊，并将所見所聞記錄下來，編書為《材館錄》。
虞允文所推薦的所有人才，宋孝宗皆全部收用，例如胡铨、周必大、王十朋、趙汝愚、晁公武、李焘是他們當中特别優秀傑出的代表。
孝宗對兵員冗多、财政匮乏感到很憂慮，虞允文與陳俊卿商議革除三衙的各種名目繁多的雜役，裁減軍隊中多餘的閑散人員，三軍對此沒有怨言。
乾道六年(1170)，陳俊卿因奏請留下龔茂良違逆了皇上的旨意，皇上極為憤怒，陳俊卿在浙江亭等待命令，兩天都沒有得到答複。
虞允文請求面見孝宗，竭力闡述君臣之間應以禮相待的道理，多次去禦榻前拜見皇上，孝宗于是任命陳俊卿為福州通判。
宋孝宗诏令範成大為祈請使，為了徽、欽二帝的宮寝陵墓的緣故。
金人不同意移交給宋朝，并報告準備以三十萬騎兵護送徽、欽二帝的宮寝陵墓歸宋，朝野上下議論紛紛，一片驚恐，荊、襄二州統帥都請求增加兵力戍衛。
虞允文對他們說“：金人剛殺死完顔亮不久，決不會輕舉妄動，他們不過是故意虛張聲勢，吓唬吓唬我們而已。
”于是奏請停止增兵。
朝野輿論一片嘩然，虞允文堅持己見決不動搖，以後金軍果然沒有入侵南下的行動。
自從莊文太子死後，王儲一直未定。
虞允文屢次上奏疏，言詞懇切希望早立太子，以安定天下。
乾道七年(1171)正月，孝宗封兩宮尊号，立太子之議終于決定，下诏将第三子恭王趙忄享立為皇太子，另一皇子趙恺以雄武、保甯軍節度使身份通判甯國府。
皇太子不久就任臨安尹。
侍衛馬軍司牧馬的地方過去一直設在臨安，虞允文認為此地地勢狹窄，不利于放牧，請求下令将牧地改為鎮江，遇有緊急情況時騎馬過江比較便利。
三軍将士對此頗有怨言，以後議事者以此指責虞允文。
胡铨因任台谏官評議國事過多的緣故被去職，虞允文奏請将他留在經筵。
胡铨向朝廷舉薦朱熹，孝宗詢問虞允文是否認識朱熹？虞允文回答朱熹的才華不在程頤之下，于是朝廷召朱熹入京，朱熹沒有來。
檢鼓院