輔後，越發注意安靜，從容行事，很合皇上的心願。
當時官位平列的還有陳以勤、張居正。
以勤端莊謹慎，而居正自恃才氣，欺淩他人，眼睛裡好像沒春芳這個人。
當初徐階因為别人的批評下台，春芳感歎說：“徐公尚且那樣，我能長得了嗎？容我有機會請求退休算了。
”居正馬上說“：這樣倒好，也許還可以保全您的美名呢。
”春芳感到震驚，所以多次上書要求退休，皇上不允許。
以後趙貞吉入閣，接替了以勤，性格剛果自負。
等高拱再度入閣值勤，恨春芳位置在他上面，春芳又争他不過，隻能是自加修饬而已。
俺答攻打邊塞，求取封賞，春芳和高拱、居正在皇帝面前商定此事。
正逢趙貞吉被高拱逐出朝廷，高拱氣焰嚣張之際，又與徐階重修舊怨。
春芳為徐階從容辯護，高拱更加不高興。
當時春芳已漸漸做到少師兼太子太師，晉升吏部尚書，改為中極殿學士，但考慮到高拱等人最終容不得自己，因此兩次上書請準予回家養親，皇上不予批準。
南京給事中王祯迎合高拱的意思，上書诋毀春芳，春芳這下更加堅決要求退休。
皇上命令給予馬車，派官護送他告老還鄉，官府照例發他祿米。
一年過後，高拱自己又受到居正排擠，差一點丢了命。
而春芳還鄉，父母還都健在，一家人從早到晚擺酒食娛樂，鄉親們對他豔羨不止。
父母死後數年他才謝世，終年七十五歲，被追贈為太師，谥文定。