滿腔熱情要寫作，但以當時的文壇氣候，他感到寫他熟悉題材卻與現實不搭界，寫工農兵又缺乏生活。
于是他就放棄小說，與文聯的編輯，多爾衮王爺嫡系後人金寄水合寫了京劇本《戚繼光斬子》，為反對武裝日本、解放台灣鼓勁；接着又配合宣傳《婚姻法》，把趙樹理小說《羅漢錢》改編成了評劇本。
另外，他還邊讀邊寫，寫下了厚厚一本《紅樓夢劄記》。
其文并未發表。
但在“批判紅樓夢研究”學習時，他曾以此為據寫一兩篇評論。
他後來寫《曹雪芹》，我相信這材料起了不小作用。
20世紀50年代中，北京文聯搬家到北京西城六部口，端木的房子大了點，但桌椅筆硯還是原套，書房格局保持原狀，仍同樣的亂。
不久我成為右派離開北京。
“文化大革命”期間，我趁回京探親機會，混在看大字報的“革命群衆”中溜進文聯樓内打探熟人消息。
剛進門就看到一個戴着白袖标的駝背老人彎着身子掃樓道。
人來人往從他身邊走過，他既不擡頭也無反應。
一看正是端木。
便走近他身邊，故意輕輕咳了一聲。
他歪着頭輕輕掃了我一眼。
先是一愣，和我對視了有兩秒鐘，馬上又低下頭繼續掃地，臉對着地面自語般小聲說：“還不快走，叫人發現想走就走不了啦！”然後頭也不回匆匆走到樓後去了。
我帶着一心酸楚離開，一走又是10年。
70年代末作為“出土文物”又回到北京文壇，我和林斤瀾一起去看他。
這時他老夫妻還擠在“虎坊橋”一間小屋中，所有的書籍、稿件都像垃圾樣堆在過道，像是難民營模樣。
又過數年，鄧小平領導撥亂反正，取得了很大成績，中國文化界這才起死回生，開始欣欣向榮。
北京文聯建成了和平門裡這套高級住宅。
端木搬進新屋，又有了書房。
但經過數十年變遷，端木書房竟并沒變其基本格局。
最根本的變化是有了太太打掃收拾，不再雜亂而整潔舒适，如現在展出的這樣，像個名家書房了。
90年代作協召開代表大會，香港曾敏之、劉以鬯、潘耀明等作家來京，我帶路去看望端木，大家就在這書房裡喝茶聊天的。
那天端木剛剛拔了牙，指着自己的嘴說：“幾年沒見，看看，我已成了‘無齒（恥）之徒’了。
”那竟成了最後一次見面。
在香港圖書館看到他這間“書房”，真是百感交集。