裕在被貶前居于東都洛陽，曾向一善于預測的僧人問吉兇之事，僧人指出李德裕近期将有災難，會被貶到遙遠的南方，且稱南行之期月内即見分曉，無可逃避。
李德裕郁悶，努力說服自己不要相信。
“您不相信？那這樣，我們做個實驗。
”僧人說着，一指地下，“此地下埋有一石盒。
”
李德裕立即叫人挖掘，果得一石盒。
李德裕大驚，問：“貶至南方既然不可免，那麼我想問一句：還有回還的可能嗎？”
僧人道：“還有這個機會。
”
僧人又道：“您這一生，應吃一萬頭羊。
到現在為止，您已吃了九千五百頭。
也就是說，以後還有吃五百頭羊的日子，官位未絕。
”
李德裕長歎一聲：“法師真乃神人！憲宗皇帝元和十三年，我在北都太原為張弘靖宰相的部下，曾夢見自己行于晉山上，那裡是一眼望不到頭的羊群，有牧羊人告訴我，這滿山之羊是我平生所吃之羊。
這個奇異的夢被我隐藏數十年，一直未向他人說過，而現在看來，正中禅師之言！”
盡管很悲傷，但李德裕還是抱有一絲僥幸，因為如那僧人之言，自己還有吃五百頭羊的顯貴日子，即使每天都吃羊肉，吃完這五百頭羊，也需要十年。
也就是說，自己還能顯貴十年。
聯系到自己現在的歲數，十年足矣！
但計劃趕不上變化。
沒過幾天，振武節度使米暨派人來到洛陽，為了表達對李德裕的尊敬，專門一次性地送來了五百頭羊作為禮物。
李德裕望着庭院裡的群羊，大叫一聲：“天意？！”
随後，李德裕将此事告訴那僧人，僧人搖搖頭，歎息道：“一萬頭羊已夠數了，看來您被貶之後，不能回還了。
”
李德裕說：“我不吃這些羊還不行嗎？”
僧人說：“羊已到了您眼前，吃不吃的都已屬于您了。
”
李德裕神色戚然，陷入長久的沉默。
在他為宰相的時代，他對内抑制住中唐以來嚣張的宦官勢力，對外采取強硬手段削平藩鎮，并成功打擊、威懾了回纥、吐蕃以及南诏。
他甚是勤政，每日出入宮闱，與武宗皇帝商讨軍國大事，他的名詩《長安秋夜》即是這種生活的寫照：“内官傳诏問戎機，載筆金銮夜始歸。
萬戶千門皆寂寂，月中清露點朝衣。
”此詩生動地刻畫出一位宰相夜以繼日、辛勤工作的形象。
但現在皇帝換成了宣宗，他失寵了。
在收到那令人壓抑、恐怖的五百頭羊後，沒幾天，他就接到等待中的朝廷命令：被貶至荊南。
随後，又被貶為潮州司馬，還未到潮州，又貶為崖州司戶。
崖州，即現在的海南島三亞。
可以想象唐朝時那裡的荒蠻，大約是那個帝國的最南方了。
在去南方的路上，過一條險惡的河流時，李德裕身上攜帶的白龍皮、暖金帶、避塵簪等無價之寶，不慎落入了水中，從此它們消失于這個世界上。
李德裕無限傷懷，他永遠失去了它們，永遠失去了北歸之日。
遠貶崖州後，李德裕寫有無限傷感的《登崖州城》：“獨上高樓望帝京，鳥飛猶是半年程。
青山似欲留人住，百匝千遭繞郡城……”他終于沒有機會北返中原了。
大唐帝國的最後一位鐵腕宰相最後孤獨地死在了海那邊。
那是唐宣宗大中四年（公元850年）。