常侍亮子。
隋大業末，為薛舉通事舍人。
仁杲平，授秦王府铠曹參軍。
貞觀中，累遷起居郎。
博涉文史，工隸楷。
太宗嘗歎曰：“虞世南死，無與論書者！”魏征白見遂良，帝令侍書。
帝方博購王羲之故帖，天下争獻，然莫能質真僞。
遂良獨論所出，無舛冒者。
十五年，帝将有事太山，至洛一陽一，星孛太微，犯郎位。
遂良谏曰：“陛下撥亂反正，功超古初，方告成岱宗，而彗辄見，此天意有所未合。
昔漢武帝行岱禮，優柔者數年，臣愚願加詳慮。
”帝寤，诏罷封禅。
遷谏議大夫，兼知起居事。
帝曰：“卿記起居，大抵人君得觀之否？”對曰：“今之起居，古左右史也，善惡必記，戒人主不為非法，未聞天子自觀史也。
”帝曰：“朕有不善，卿必記邪？”對曰：“守道不如守官，臣職載筆，君舉必書。
”劉洎曰：“使遂良不記，天下之人亦記之矣。
”帝曰：“朕行有三：一，監前代成敗，以為元龜，二，進善人，共成政道；三，斥遠群小，有受讒言。
朕能守而勿失，亦欲史氏不能書吾惡也。
”
是時，魏王泰禮秩如嫡，群臣未敢谏。
帝從容訪左右曰：“方今何事尤急？”岑文本泛言禮義為急，帝以不切，未領可。
遂良曰：“今四方仰德，誰弗率者？唯太子、諸王宜有定分。
”帝曰：“有是哉！朕年五十，日以衰怠，雖長子守器，而弟、支子尚五十人，心常念焉。
自古宗姓無良，則傾敗相仍，公等為我簡賢者保傅之。
夫事人久，情媚熟，則非意自生，其令王府官不得過四考，著為令。
”帝嘗怪：“舜造漆器，禹雕其俎，谏者十餘不止，小物何必爾邪？”遂良曰：“雕琢害力農，纂繡傷女工，奢一靡一之始，危亡之漸也。
漆器不止，必金為之，金又不止，必玉為之，故谏者救其源，不使得開。
及夫橫流，則無複事矣。
”帝咨美之。
于時皇子雖幼，皆外任都督、刺史，遂良谏曰：“昔二漢以郡國參治，雜用周制。
今州縣率仿秦法，而皇子孺年并任刺史，陛下誠以至親扞四方。
雖然，刺史，民之師帥也，得人則下安措，失人則家勞攰。
故漢宣帝曰：‘與我共治，惟良二千石乎。
’臣謂皇子未冠者，可且留京師，教以經學，畏仰天威，不敢犯禁，養成德器，審堪臨州，然後敦遣。
昔東漢明、章諸帝，友一愛一子弟，雖各有國，幼者率留京師，訓饬以禮。
訖其世，諸王數十百，惟二人以惡敗，自餘餐和染教，皆為善良。
此前事已驗，惟陛下省察。
”帝嘉納。
太子承乾廢，魏王泰間侍，帝許立為嗣，因謂大臣曰：“泰昨自投我懷中雲：‘臣今日始得為陛下子，更生之日也。
臣惟有一子，百年後，當殺之，傳國晉王。
’朕甚憐之。
”遂良曰：“陛下失言。
安有為天下主而殺其一愛一子，授國晉王乎？陛下昔以承乾為嗣，複一寵一愛一泰，嫡庶不明，紛紛至今。
若必立泰，非别置晉王不可。
”帝泣曰：“我不能。
”即诏長孫無忌、房玄齡、李勣與遂良等定策立晉王為皇太子。
時飛雉數集宮中，帝問：“是何祥也？”遂良曰：“昔秦文公時，有侲子化為雉，雌鳴陳倉，雄鳴南一陽一。
侲子曰：‘得雄者王，得雌者霸。
’文公遂雄諸侯，始為寶雞祠。
漢光武得其雄，起南一陽一，有四海。
陛下本封秦，故雄雌并見，以告明德。
”帝悅，曰：“人之立身，不可以無學。
遂良所謂多識君子哉！”俄授太子賓客。
薛延陀請婚，帝己納其聘，複絕之。
遂良曰：“信為萬事本，百姓所歸。
故文王許枯骨而不違，仲尼去食存信，貴之也。
延陀，曩一俟斤耳。
因天兵北讨，蕩平沙塞，威加諸外，而恩結于内，以為餘寇不可以無酋長，故玺書鼓纛，立為可汗。
負抱之恩，與天無極。
數遣使請婚于朝，陛下既開許，為禦北門受獻食。
今一朝自為進退，所惜少，所失多，虧信夷狄，方生嫌恨，殆不可以訓戎兵、勵軍事也。
且龍沙以北，部落牛一毛一，中國擊之不能盡，亦猶可北敗，芮芮興，突厥亡，延陀盛。
是以古人虛外實内，懷之以德。
使為惡，在夷不在華；失信，在彼不在此也。
惟陛下裁幸。
”不納。
帝欲自讨遼東，遂良固勸無行：“一不勝，師必再興；再興，為忿兵。
兵忿者，勝負不可必。
”帝然可。
會李勣诋其計，帝意遂決東。
遂良懼，上言：“臣請譬諸身。
兩京，腹心也；四境，手足也；殊裔絕域，殆非支體所屬。
高麗王陛下所立，莫離支殺之。
讨其逆，夷其地，固不可失，但遣一二慎将，付銳兵十萬，翔雲輣，唾手可取。
昔侯君集、李靖皆庸人爾，猶能撅高昌，纓突厥，陛下止發蹤指示，得歸功聖明。
前日從陛下平天下，虓士爪臣，氣力未衰，可驅策，惟陛下所使。
臣聞涉遼而左，或水潦，平地淖三尺，帶方、玄菟，海壤荒漫，決非萬乘六師所宜行。
”是時，帝銳意蕩平，不見省。
進黃門侍郎，參綜朝政。
莫離支遣使貢金，遂良曰：“古者讨殺君之罪，不受其賂。
魯納郜鼎太廟，《春秋》譏之。
今莫離支所貢不臣之篚，不容受。
”诏可，以其使屬吏。
帝既平高昌，歲調兵千人往屯，遂良誦诤不可，帝志取西域，寘其言不用。
西突厥寇西州，帝曰：“往魏征、褚遂良勸我立麹文泰子弟，不用其計，乃今悔之。
”帝于寝宮側别置院居太子，遂良谏，以為“朋友深交者易怨，父子滞一愛