後，上奏裁定，北洋不準再增兵添饷，既則多方逼迫，非要他丢人現眼不可！總而言之一句話，是成心跟他過不去。
當然，他不獨恨翁同龢，也遷怒于翁門子弟，而尤不滿于文廷式。
于是楊崇伊便在他的授意之下，利用珍妃恰好大失所寵的機會，上奏嚴劾，“翰林院侍讀學士文廷式，遇事生風，常在松筠庵廣集同類，互相标榜，議論時政，聯名入奏，并有與太監文姓結為兄弟情事，請立予罷黜。
”結果，文廷式丢官被逐，永不叙用。
在楊崇伊，自是出了胸頭一口惡氣，但也從此不齒于士林了。
聽端方細談了這段往事，瑞澂才知道他的用意是要讨好江南的士大夫，可是他不知道，端方也是借此要報複李家，李鴻章的小兒子經邁，在端方是視作冤家的。
那是兩年前的事。
端方随載澤出洋考察憲政，李經邁正出使奧國，歡宴席上，端方認為奧國供應不周，頗表不滿。
而言外之意，又仿佛責怪李經邁聯絡未妥，以緻奧國才會慢客。
李經邁以貴公子出身，自然不受他這話，反唇相譏，說他的官是“大使之級”，但所奉的使命不是，不能怪奧國不以禮待，當場鬧得不歡而散。
事後李經邁頗有警覺，深知端方氣量狹隘，回國之後可能會“告禦狀”，因而先将經過情形，函陳外務部有所解釋。
果然，不久接得外務部會辦大臣那桐的複信，這是端方曾經提到此事，不意為李經邁搶了個原告，大為沮喪。
可想而知的，冤家結成了。
第二年李經邁回國，奉調江蘇臬司，這時端方在當兩江總督，李經邁怕他還念着舊怨，特意寫了一封措詞很恭敬的信，先行緻意。
誰知端方竟置之不理！見此光景，李經邁這個江蘇臬司做不得，在召見時，将與端方結怨的經過細細奏明，請慈禧太後作主。
“他敢？”慈禧太後這樣說。
不過第二天還是作了安排，将李經邁調為河南臬司。
說也奇怪，上谕一下，立刻就接到端方的賀電，情詞十分懇摯。
過了幾天，李經邁才知道他前倨後恭的道理。
原來端方的胞弟端錦，是河南候補的直隸州知州，現充陝州鹽厘局總辦。
河南不出鹽，仰給于兩淮、長蘆、河東，尤其是河東的潞鹽，以河南為主要的引地，入境先在陝州抽厘，稅收極旺。
所以端錦的這個差使，号稱“通省第一差”。
不過，他的這個好差使快要當不成了！端錦嗣母亡故，丁憂照例開去差缺，端錦苦戀不舍，請他老兄設法。
漢軍原可照旗人的規矩，隻穿孝百日，不必守三年之喪，但穿孝是穿孝，做官是做官，即令隻有百日，亦須離差。
而況漢軍畢竟仍是漢人，辦不能全照旗人的規矩，端方自為封疆大吏，何能公然緻函河南的巡撫與藩司，為胞弟作此貪祿忘親的幹求？
正當此時，李經邁改調河南，端方認為這是個好機會。
因為第一，自覺李經邁有對不起他的地方，應能借此補報；其次，以新到省的監司大員，為端錦說話，巡撫、藩司總不好意思頭一次就不給面子。
所以緊接在賀電以後，寫了封很懇切的信，托李經邁代為斡旋，讓端錦能夠“奪情”留任。
信中又說：他在兩江，開支甚大，所以養家全靠端錦此差，每年有八千兩銀子的收入。
這話看似坦誠，其實虛僞，若說做到兩江總督，還要兄弟替他養家，那是誰也不會相信的事。
“奪情”非禮，李經邁何能為力？因此端方跟他的怨結得更深了。
如今遷怒到李家的至親，楊崇伊便越發“罪孽深重”了！
“莘儒！”端方從抽屜裡取出一張紙來，“你這個申詳的稿子，前面鋪叙事實，不錯，後面輕描淡寫，變成頭重腳輕，很不妥當。
你看看這個稿子！”
端方已請幕友為他重拟詳文：“本司查楊紳崇伊，身為道員，又當守制，乃于登堂妓女，插身幹預，複敢兩次尋釁，帶領家丁，夤夜持槍滋事，實屬目無法紀，不顧名譽。
且在省會之地，竟敢如此肆惡，是其在常熟原籍，遇事生風，鄉人側目，人言亦屬可信。
雖吳紳韶生年老畏事，不願深求，本司查得既詳，未敢玩法容隐，專案詳請奏參。
”
說是說得重了一點，但既有總督作主，瑞澂覺得就得罪了楊崇伊亦不要緊。
當時點點頭說：“很好，很好！”
“那麼，我就據你的原詳，跟陳中丞會銜出奏。
稿子就請你帝了去。
”
當天晚上，端方請瑞澂吃飯，筵間便将會奏的稿子交了出去。
在照叙原文之後，緊接着寫道：“臣等查搶奪婦女，乃系棍徒惡習，該道楊崇伊聲名本劣，此次橫行不法，竟與地痞流氓無異。
當倉皇抵禦之際，即使被毆受傷，亦屬咎由自取，無足顧惜。
且據司詳，并聞王阿松有許送二千兩，托其包攬情事，如果屬實，尤為卑污無恥！不惟滋害鄉裡，且贻羞朝廷，此而不懲，必将日益兇橫，無惡不作。
相應請旨将丁憂在籍，前浙江候補道楊崇伊，即行革職，永不叙用，不準逗留省城，交常熟地方官，嚴加管束。
如再不收斂，及幹預地方一切事務，即按所犯劣迹，從嚴究辦，以懲兇悍，而保治安。
所有參劾在籍道員緣由，謹具折會陳，伏乞皇太後、皇上聖鑒。
”
瑞澂看完，吐一吐舌頭，心想端方的手段好辣！不過事，不關己，不必多事，所以一無表示地将稿子折攏，放入口袋。
“莘儒，”端方鄭重叮囑：“守口如瓶，密意如城，尤其不可讓新聞紙的訪員知道！倘或一見了報，事情就壞了。
”
瑞澂辦事不行，做官的訣竅，卻很精通，心裡思量，端方的花樣甚多，不要雷聲大，雨點小，他自己翻雲覆雨，出爾反爾，有意洩露給報館，而嫁禍于人，這卻不能不防。
于是他想了一下說：“大帥，在我手裡是決不會洩露的，不過交到陳中丞手裡，會了稿再送回兩江來拜折，中間要經過好幾道手。
倘或出了毛病，責任就辨不清了。
不如大帥就把這個稿子，電達蘇州，知會了陳中丞，立刻拜發