祖彤，仕後魏通直散騎常侍。
父振，周宕州刺史，建威縣侯。
世長十餘歲，上書周武帝，帝異其幼，問讀何書，對“治《孝經》、《
帝曰：“何言可道？”答曰：“為國者不敢侮于鳏寡。
為政以德。
”帝曰：“善。
”使卒學虎門館。
父死王事，有诏襲爵，世長号踴不自勝，帝奭然改容。
入隋，為長安令，數條上便宜。
大業末，為都水少監，督漕上江。
會炀帝被弑，發喪，恸聞行路。
更為王世充太子太保、行台右仆射，與世充兄子弘烈及其将豆盧行褒戍襄一陽一，高祖與之舊，數遣使者谕降，辄殺之。
洛一陽一平，始與弘烈歸，帝誅褒而诮世長，頓首謝曰：“古帝王受命，以此逐鹿，一人得禽，萬夫斂手。
豈有獲鹿後忿同獵者，問争肉罪邪？今陛下應天順民，安可忘管仲、雍齒事？且武功舊人，亂離以來，死亡略盡，唯臣得見太平。
若殺之，是絕其類。
”帝笑釋之。
授玉山屯監。
引見玄武門，與語平生，調之曰：“卿自謂佞邪，直邪？”對曰：“愚且直。
”帝曰：“若直者，何為背賊歸我？”對曰：“洛一陽一平，天下為一，臣智窮力屈，乃歸陛下。
使世充不死，臣據漢南，尚為勍敵。
”帝大笑，嘲曰：“何名長而意之短，口正而心之邪？”世長曰：“名長意短，誠如聖旨。
口正心邪，不敢奉诏。
昔窦融以河西降漢，十世侯之；臣舉山南以歸，唯蒙屯監。
”帝悅，拜谏議大夫。
從獵泾一陽一，大獲。
帝入旌門，詫左右曰：“今日畋，樂乎？”世長曰：“陛下廢萬機，事遊獵，不滿十旬，未為樂也。
”帝色變，既而笑曰：“狂态發邪？”曰：“為臣計則狂，為陛下計忠矣。
”時武功、郿新經突厥寇掠，鄉聚凋虛，帝将遂獵武功，世長谏曰：“突厥向盜劫人，陛下救恤之言未出口，又獵其地，殆百姓不堪所求。
”帝不聽。
侍宴披香殿，酒酣，進曰：“此炀帝作邪？何雕麗底此！”帝曰：“卿好谏似直，然詐也。
豈不知此殿我所營，乃詭雲炀帝邪？”對曰：“臣但見傾宮、鹿台，非受命聖人所為者。
陛下武功舊第，才蔽風雨，時以為足。
今天下厭隋之侈，以歸有道，陛下宜刈奢一婬一，複樸素。
今乃即其宮加雕飾焉，欲易其亂，得乎？”帝咨重其言。
曆陝州長史、天策府軍谘祭酒，引為學士。
貞觀初，使突厥，與颉利争禮，不屈，拒卻賂遺，朝廷壯之。
出為巴州刺史，舟敗，溺死。
世長有機辯，淺于學，嗜酒，簡率無威儀。
初在陝，邑裡犯法不能禁，乃引咎自撻于廛，五伯疾其詭，鞭之流血，世長不勝痛，呼而走，人笑其不情。
子良嗣，高宗時為周王府司馬，王年少不法，良嗣數谏王，以法繩府官不職者，甚見尊憚。
帝異之，選荊州長史。
帝遣宦者采怪竹江南，将莳上苑，宦者所過縱暴，至荊，良嗣囚之，上書言狀。
帝下诏慰獎，取竹棄之。
徙雍州。
時關内饑，人相食，良嗣政上嚴，每盜發，三日内必擒，号稱神明。
垂拱初，遷冬官
尚方監裴匪躬案諸苑，建言鬻果蔬，儲利佐公上。
良嗣曰：“公儀休一諸侯相，拔葵去織，未聞天子賣果蔬與人争利。
”遂止。
遷文昌左相、同鳳閣鸾台三品。
遇薛懷義于朝，懷義偃蹇，良嗣怒，叱左右批其頰，曳去。
武後聞之，戒曰：“第出入北門，彼南衙宰相行來，毋犯之。
”載初元年，罷左相，加特進，仍知政事。
與韋方質素不平，方質坐事誅，引逮之。
後辨其非，良嗣悸，謝不能興，輿還第，卒，年八十五。
诏百官往吊，贈開府儀同三司、益州都督。
始，良嗣為洛州長史