年(1001)，李繼遷攻陷清遠軍，真宗任命齊賢為泾、原等州軍安撫經略使，以右谏議梁颢為他的副手。
齊賢上言說“：清遠軍陷沒以來，青岡砦被燒棄之後，靈武郡援兵阻隔勢力孤單，這是繼遷所窺伺而一定到的地方。
以事勢而論，讨伐則力不足，防禦則有餘。
沒有别的方法，蕃部大族首領向來與李繼遷有矛盾，不如給他們官職，誘以貨利，用恩信交結他們，并且以利害激發他們，則山西之蕃部族帳，無不傾心為朝廷出力。
我所統率的十二個州、軍，現有二萬士兵，如果加上沿疆料柬本城等軍，又得五萬多人，招緻蕃部，其數又超過十幾萬人。
隻要敵人出動，我方歸守，敵人東備我方則擊其西，使他們奔走不暇，怎能成為我方禍患呢？現在靈武軍民一起不超過六七萬，陷于危亡的境地，如果繼遷明年春天在我方未集中兵力以前，發兵救援靈武，全部出動其軍隊，并力圍攻，則靈州城一定難以固守。
萬一靈州城失陷，敵人聲勢會大增，即使多聚軍隊，廣積财貨，也難保必勝。
我之所以請求封潘羅支為六谷王，是恐怕繼遷早晚用兵斷絕他賣馬之路。
如果朝廷使者能見到潘羅支，則泥埋等族，西南遠蕃，不難招集。
西南既受命，而邊緣之軍勢大張，則..、延、環、慶之淺蕃，原、渭、鎮戎之熟戶，自然歸化。
然後讓他們與野戰部隊及駐紮軍隊互相聲援，則繼遷聽說後，必定不敢在靈州、河西駐紮軍隊。
萬山如果敗退，則賀蘭蕃部也慢慢叛離繼遷。
如果說名器不可以假人，爵賞不可以濫及，這是聖人治國的常道，不是随時事變化應變的法則。
”
齊賢又請求調來江淮、荊湘丁壯八萬加強防禦，朝廷議論認為動搖民心，并且湖泊之鄉的人遠戍西鄙也不方便，這件事就停止不辦了。
齊賢又說：“靈州地處邊隅，當城鎮還完好、碛路還未阻塞時，朝廷内外已經說應當放棄，從繼遷叛亂以來，危困越發厲害。
南距鎮戎約五百多裡，東離環州僅六七天路程，如此畏途，不必攻奪，則城中之民怎麼出來，城中之兵又怎麼回去？想保護城中軍民，按理應當接應。
為今之計，如果能增加精兵，以合西邊駐屯、換防的軍隊，接着以原、渭、鎮戎的軍隊，率領山西熟戶從東界進入，嚴約會師日期，兩路并進，假如繼遷分兵抵抗，我方則乘機而易攻。
況且在路途奔波，首尾難顧，千裡趨利，不失敗就會被俘。
我認為兵鋒未交，而靈州之圍自解。
然後遷移靈州軍民到在蕭關、武延川險要地方設立的營寨居住，這樣做則蕃漢人士之心有所依賴。
等到叛亂平定後，仍回到舊州，然後指揮蕃漢之兵，乘機進攻，則成功不難。
”朝廷不能用他的計策。
不久，靈武果然失陷。
閏十二月，授任右仆射、判..州，不出發，改為判永興軍兼馬步軍部署。
當時薛居正的兒子惟吉的妻子柴氏早年守寡，把她家的财産及書籍論告都儲藏起來，打算改嫁齊賢。
惟吉的兒子安上為此上訴。
皇上不想理睬這件事，命司門員外郎張正倫前去訊問，柴氏的回答與安上的訴狀不同。
把這件事交給禦史，發覺是齊賢的兒子太子中舍宗誨教柴氏這樣說。
齊賢因此被貶為太常卿、