秦始皇的下一步措施，是沿用郡縣制。
天下初定，如何治理國家成了首要問題。對此，丞相王绾建議道：“如今我國疆域甚廣，偏遠地區實在鞭長莫及。不如将宗室貴族分封至各地，讓他們作為諸侯治理地方。”
廷尉李斯強烈反對道：“讓宗室貴族在偏遠地區當諸侯，萬一有人趁機坐大怎麼辦。且我朝兼并六國，統一天下，福澤百姓，已經杜絕諸強争霸這一弊端，怎能再像前朝那樣給自己制造威脅。”
李斯說得沒錯。戰國中期以後，以“戰國四公子”中齊國孟嘗君與楚國春申君為代表的宗室貴族和異姓功臣，便借機成了權勢淩駕于國君之上的強者。
既然地方勢力坐大是引發天下動蕩的根源，那麼就要避免這種情況發生。秦始皇不再封宗室貴族為各地的諸侯，而是采取郡縣制。郡縣制制度下将全國分為三十六郡，在郡下設縣，由中央直接管轄全國。
其實，郡縣制并非秦始皇首創，秦國一直采用的都是這種制度。齊國、楚國、韓國、魏國等其他國家，則是将各地賜給宗室貴族或有功之臣做封邑，并封其為君。封君因此獲得實權，羽翼漸豐[此處是指封君制，這是與郡縣制相輔的重要制度。封君權力受限制，且難以世襲。與秦國相比，其他國家對封君的約束程度稍低，比如楚國的封君在封邑内享有土地占有權、行政權等。]。然而，秦國很早就選擇從中央派遣官員治理地方，避免讓宗室貴族成為封君。所以，秦始皇隻是把之前秦國施行的制度推行到全國而已。
三十六郡的最高行政長官郡守由朝廷任命，從都城鹹陽直接派出。郡守不允許世襲，且會有任地的調動。一旦接到朝廷的調令，就必須奉命前往指定地點。