出主、纎食共五件事上書，考證經義，所說的都可以施行。
但是武宗惱了，批評他越職上書，胡說八道，并把他的奏章發給有關部門評議。
禮部長官不懂得經術，又迎合武宗的意思，就奏稱文華所說沒有道理。
武帝于是命令把文華逮入诏獄審訊，罷官為民。
當時是正德十一年(1516)十月。
世宗即位後，文華又得到起複，官複原任，經河南按察副使，在嘉靖二年(1523)被推舉為政事、修身雙優，然後應诏入朝做大理右少卿，不久轉為左少卿。
當時朝廷中正在讨論興獻帝的“大禮”，文華幾番和其他大臣們一起極力谏争。
第二年七月，又号召大臣們在宮門外跪地哭谏，因此被扣發了四個月官俸。
後來，席書、張璁、桂萼、方獻夫召集大臣們讨論，文華與汪偉、鄭嶽還是極力反對。
武定侯郭勳就說：“祖訓是這樣子，古禮也是這樣子，張璁等人說得對。
古書上講了，大臣侍候君上，應當順成他的好事。
”就這樣形成了決議。
等後來改題宗廟神主時，文華進谏說：“按道理孝宗是祖輩，不能稱為伯考。
武宗是父輩，不能稱為皇兄。
不如幹脆稱為孝宗敬皇帝、武宗毅皇帝，還算是兩全其美，不害正統。
”奏疏遞上後，世宗又一次讓扣發了他的官俸。
六年(1527)秋天，李福達一案再審。
主持再審的張璁、桂萼、方獻夫，因為讨論“大禮”一事本來就恨文華這些人，于是把審訊記錄全給颠倒過來，把文華和其他法官們關進了監獄。
結案以後，文華被指責為徇私包庇禦史殺人，充軍遼陽。
後來碰上大赦，死在回鄉的道路上了。
隆慶初年，朝廷追贈他為左佥都禦史。
自從大學士毛紀、侍郎何孟春罷官後，以前争議“大禮”的大臣們有的就違心地順從了世宗的意思，文華卻堅持以前的意見不變。
他無罪被充軍邊疆，當時的官僚士紳對他深感惋惜。