百姓中有身强力壮者，也各种借口和逃避，千方百计的希望能够四处运作下，免了商役。甚至，还有全家逃避到外郡者。
久之，京城和直隶之地，富户渐稀，后连累中户，再复及中下户，是由市巷萧条，即有千金之产，亦惴惴惶惧。
于是给事中魏元吉上疏，极言铺商困乏，请以太仓银给补未发商价。
嘉靖三十七年三月二十七日，世宗以魏元吉所言甚是，诏恤京师铺商。
然而，由于边饷急需，太仓银常常难以供应，故虽有存恤之诏，而商困如故。
大明局势稍稍平稳，双方之争再次白热化。
此次杨林先下手了……
嘉靖三十七年三月二十八日，刑科给事中吴时来在杨林的暗中授意下，再次疏劾严嵩贪财纳贿。
他说：“严嵩执政二十年，文武官升迁去留，悉出其手。又暗中令其子严世蕃出入禁所，批答章奏，招权示威，指使公卿，奴视将帅，贪污受贿，财货山积，犹无厌足。用人唯亲，每行一事，推一官，必先报告严世蕃而后奏。陛下但知议出部臣，岂知此皆严嵩父子私意！许多正直廷臣无不怨恨严嵩。臣以为除恶务本，今边事不振由于军困，军困由于官邪，官邪由于严嵩父子好货。若不速去严嵩父子，边事不可挽救。”
同一日，刑部主事张翀、董传策也在杨林的暗示下，分别上疏劾严嵩。
张翀说：“自严嵩当政以来，国家钱粮给边者十之四，贿严嵩者十之六。严嵩之富有早已超过数十万，严嵩家之富可知。”
董传策说：“严嵩恬不知戒，居位一日，天下受一日之害。他坏边事，卖官爵，耗国用，用罪人，扰驿传，害人才，必须立即清除。”
吴时来三人上疏之后，严嵩怀疑除阶是幕后主使者，密奏嘉靖帝。
嘉靖帝怀疑徐阶和陆炳、杨林一方私下有勾结，信严嵩所言，立将吴时来三人下狱，追究主谋者。掌握了诏狱权利的朱六，在审讯的时候，希望将苗头引向杨林一方。
但是吴时来三人至死不承认，都说是太祖高皇帝教导他们的。
嘉靖帝无奈，却还是怒宣诏，将吴时来三人俱发边远烟瘅卫所充军。
吴时来作为杨林的得力干将，就此倒台。
而这之后，严嵩疏请致仕。
嘉靖帝虽慰留之，但是想到严嵩手下的严党众人，一直是杨林攻击的缺口，竟是成了自己一方的弱点，心中自是已稍厌严嵩。
嘉靖三十七年四月初九日，兵部奉旨进裁省驿递事宜：“国初，以驿递宣传王命，飞报军情。时至今日，成法尽更，糜费十倍，既有站红船，又增设官民座船；既有额定马驴，又增设帮马；既有正差应付，又有借冒关牌，分外逼索。依《会典》事例，应尽毁官民座船，以其费入官。其旱驿马驴，除两京会同馆外，每驿减十之三，非要冲之地减十之五。所过官承，必须正差勘合，勘定职名、地方、夫马之数，方许应付。其他一切分关、倒关、借关、改关及额外铺陈、馈送、折乾等弊，在内听科部、在外听抚按官参革，并以地方所省钱粮之半，解部输边。”