李遵勖，字公武，是李崇矩的孫子、李繼昌的兒子。
他幾歲時，占蔔的人說：“這孩子将因是皇親國戚而富貴。
”少年時學騎射，在冰雪上馳騁，馬脫缰而跑，他掉到崖下，衆人以為他死了，李遵勖慢慢起來，沒受傷害。
等他長大後，好做文章，被推舉參加進士考試。
大中祥符年間，他被皇上召到便殿奏對，娶萬壽長公主。
開始他叫李勖，真宗給他加上“遵”字，升他的輩份為李崇矩的兒子。
授予他左龍武将軍、驸馬都尉，賜府第永甯裡。
公主下嫁，但所住的房屋或井壁的磚瓦多是鸾鳳的形狀，李遵勖下令拆去；公主的衣服有龍的裝飾，他就都藏起來。
皇上很高興。
李遵勖任澄州刺史，因私主乳母被貶為均州團練使，轉到蔡州。
第二年，皇上起用他為太子左衛率府副率，恢複他的左龍武軍将軍之職，為宏州團練使，實際為康州團練使，給他觀察使的俸祿。
當時李繼昌是刺史，李遵勖請求自己的位序在他下面，皇上允許。
後來李繼昌為泾州守臣，暴染風眩，李遵勖不等皇上批準就趕緊去看望，皇上派使臣傳令讓他乘驿車前去。
李遵勖回來後，上表自己彈劾自己，皇上讓輔臣慰撫他。
李遵勖升任澤州防禦使，又升為宣州觀察使。
他請求到地方任職，試試自己的能力。
出京任澶州知州，皇上在長春殿給他賜宴。
他在地方，正趕上黃河泛濫，将要毀壞橋梁，李遵勖監督工匠們，七天就修成