自謀劃。
王圖嚴肅地回絕了他，王紹徽很不高興地離去。
當時湯賓尹已經做了國子監祭酒，他先任翰林京察，當王圖注考的時候，他想先發難傾覆王圖。
于是與王紹徽謀劃，指令禦史金明時彈劾王圖擔任寶坻知縣的兒子王淑扌卞私藏巨額錢财。
并稱王一向厭惡李三才，王圖替他尋求和解的辦法，王國怒罵了他，王圖就想以糾正帝王過失的名義讓王國離職。
王圖兄弟上奏極力辯解，憎恨他的人又僞造王淑扌卞彈劾王國的奏章，由邸抄傳播。
王圖上奏陳述情況，皇帝替他下诏令追繳，才平息。
等到考察的時候，最終評注湯賓尹不謹慎，革除他的官職，金明時也被罷黜。
因此其黨徒大為嘩然。
秦聚奎、朱一桂、鄭繼芳、徐兆魁、高節、王萬祚、曾陳易等人，接連上奏極力攻擊王圖。
王圖也接連上奏請求離職，在京郊等待指令。
皇帝多次下達溫和的诏令對他安慰與挽留，他堅持卧病不起，經過多月才準許他回鄉，王國也請求退休，不久去世。
萬曆四十五年(1617)，進行京察，負責的多是湯賓尹、王紹徽的黨羽，以有人谏其過失的名義解除了王圖的官職。
天啟三年(1623)，皇帝召見他并官複原職。
晉升禮部尚書，協助負責詹事府。
第二年，魏忠賢的黨羽劉弘先彈劾王圖，于是被剝奪官籍。
不久去世。
崇祯初年，追贈為太子太保，谥号文肅。