遇春與大将軍徐達一起進攻太原，擴廓帖木兒前來救援。
常遇春對徐達說“：我軍騎兵雖然已經聚集，但步兵還未趕到，突然與敵人發生戰鬥，一定會死傷很多，隻有趁夜攻打才能獲勝。
”徐達說道“：你說得對。
”這時正好擴廓的部将豁鼻馬前來約定投降之事，便暫且請他作為内應，挑選精銳騎兵口含木片，悄悄出發去襲擊敵人。
擴廓當時正點着蠟燭學習軍書，倉促之間不知所措，赤着一隻腳，騎上一匹瘦弱的馬，率領十八名騎兵逃往大同。
豁鼻馬投降，常遇春獲得四萬披甲之士，攻克太原。
常遇春追擊擴廓到忻州之後才返回。
朱元璋下诏改常遇春為左副将軍，位居右副将軍馮勝之上。
然後向北攻取大同，轉而巡行河東，攻下奉元路，與馮勝軍會合，向西攻占鳳翔。
恰遇元将也速進攻通州，朱元璋下诏常遇春回軍守備，讓平章李文忠幫助他，率步騎九萬，從北平出發，取道會州，敗敵将江文清于錦州，敗也速于全甯。
進一步進攻大興州，将一千名騎兵分别埋伏八處。
當大興州守将趁夜逃跑時，常遇春将他們全部擒獲，于是攻克開平。
元帝向北逃走，常遇春追奔數百裡，俘獲其宗王慶生及平章鼎住等将士萬人，車萬輛，馬三千匹，牛五萬頭，以及敵人子女、寶貨等物。
常遇春率軍返回，臨時駐紮在柳河川時，暴病而死，年僅四十歲。
朱元璋知道後，大驚，十分悲痛。
在龍江舉行葬禮，太祖親自出奠，并命禮官就天子為大臣主持葬禮之事進行商議，商議結果上報太祖，沿用宋太祖追悼韓王趙普的先例。
太祖下诏說“：可以。
”賜葬于鐘山平地，賜給金銀器物九十件随葬墓中。
贈封常遇春為翊運推誠宣德靖遠功臣、開府儀同三司、上柱國、太保、中書右丞相，追封開平王，谥号忠武。
常遇春配享太廟，肖像功臣廟，都位列第二。
常遇春性情深沉、勇猛、果敢，善于愛撫士兵，沖鋒陷陣，從未吃過敗仗。
雖然沒有學過典籍史書，但他用兵打仗卻總是與古代兵書相符合。
他比大将軍徐達大二歲，屢次跟随徐達率軍征讨，都非常認真地聽從徐達的指揮，當時的名将首推徐、常二人。
常遇春曾經自稱能統領十萬人馬，橫行天下，軍中将士又稱他為“常十萬”。
常遇春的堂弟常榮，多次立功，升為指揮同知，跟随李文忠出塞，戰死于胪朐河。
常遇春有二子：常茂、常升。