官滿了九年，加封為少師兼太子太師。
由于要對将官進行考察，孝宗特召文升及都禦史戴珊、史琳到暖閣，告誡大家秉公升降。
因為文升年老聽力減退，又再次高聲告訴他，命左右攙扶文升下台階。
起初文升為都禦史，王恕在吏部，兩人都處事剛直不阿。
他們起草的疏一發出，天下傳誦。
王恕離開後，聲望都集中于馬文升。
到他在吏部任職時，已經八十歲。
長須修眉，遇事侃侃而論不減當年。
孝宗去世，馬文升奉遺诏向武宗請求淘汰傳奉官七百六十三人，武宗下令除留太仆卿李綸等十七人外，其餘的全部淘汰。
正德元年(1506)，禦用監宦官王瑞要求任用新近被淘汰的七人，文升不接武宗下的诏書。
給事中安奎探聽到王瑞受賄，彈劾王瑞。
王瑞十分懷恨，誣告文升違抗聖旨，再下廷議，皆以文升之言為是，武宗終究不聽，文升因此請求返鄉，未得允準。
這時，朝政已轉移到宦官手裡，文升年老，天天懷着離去的念頭。
時逢兩廣缺總督，文升推舉兵部侍郎熊繡。
熊繡心中不願意出任，熊的同鄉禦史何天衢就彈劾文升為徇私欺騙蒙蔽。
文升接連上疏要求離開，武宗答應了。
賜他玺書、馬車，增加月糧和每年役奴。
文升在家居住時，無事不去州府。
外人談及時事，他總是皺着眉頭不回答。
在家住了三年，劉瑾亂政，說文升以前用雍泰為朋黨，除去文升官籍。
五年(1510)六月去世，終年八十五歲。
劉瑾被誅殺，恢複文升官銜，追贈特進、光祿大夫、太傅，谥号端肅。
文升文武雙全，擅長應付事變，朝中大事往往由他決斷。
建功在邊鎮，國外都知道他，文升尤其注重氣節，品行端方不苟，一生走正直之道，雖然遭到誣陷，幾起幾落，正氣終究不減。
兒子馬璁，以鄉貢士等待吏部選拔，文升要其子請求在京城以外任職，文升說：“大臣的兒子都在京為官，哪個應該任地方官？”他去世一年後，大盜趙钅遂等搶劫河南，到了鈞州，因為馬文升的家在此地，即舍之而去。
進攻泌陽，放火燒了焦芳的家，用草紮成焦芳像碎裂之。
嘉靖初年，加贈文升左柱國、太師。