天寶四年九月五日，以陝郡太守、江淮租庸轉運使韋堅為刑部尚書，罷其諸使之職，以禦史中丞楊慎矜代之。韋堅妻薑氏是薑皎之女，與李林甫為姑表親，所以林甫起初與之親密。可是後來韋堅通漕運有寵於聖人，遂有入相之志，偏偏韋堅又與李適之相好，於是李林甫惡之，雖遷以美官，實奪其權。

李隆基以戶部郎中王鉷為戶口色役使，敕賜免百姓租庸調。而王鉷奏請征其運送之費，擴大錢數，又使各地市其本郡精美貨物，所以百姓所輸多於不免之數。

按舊製，戌邊者免其租庸，六年而復之。此時邊將征戰，恥於言敗，士卒戰死者皆不申牒，所以籍貫不除。王鉷一心聚斂，以有籍無人者皆視為避課，按籍戍邊六年以後，一律征其租庸，有的連征三十年，使得百姓苦不堪言卻無處訴苦。

李隆基在位日久用度日多，奢侈成風，后宮賞賜無節製，不欲於左、右藏庫取之。王鉷探知聖人之意，乃歲貢額外錢帛百億萬，貯藏於內庫，以供宮中宴會賞賜。這還不算，還向聖人奏：「此錢帛皆不出於租庸調。」

王鉷此舉使得李隆基大喜，皆以為大唐已是真正的富有四海，於是所過更加的奢華無度。

王鉷雖務為盤剝百姓以求媚邀寵，導致天下百姓怨聲載道，而皇城之外的聲音卻是入不了聖人的耳，還使得李隆基認為鉷有富國之能，待之益厚，十一月二十三日，以王鉷為禦史中丞、京畿道採訪使。

天寶四年的除夕夜，長安城裏的紙醉金迷，已經掩蓋不了天下百姓漸入苦意，盛極而衰，徒之奈何？

時間進入了天寶五年，李林甫排除異己的手段愈發的殘酷，不斷的興起大獄。

天寶五年正月，與太子李享交好的隴右節度使皇甫惟明兼領河西節度使，從駐地來到京師長安，向聖人進獻對吐蕃作戰中的戰利品。

皇甫惟明在李隆基的讚譽下頭腦一熱，就向聖人明確表達了應當將李林甫撤職的態度，又大加讚譽韋堅的才幹。

邊關重將皇甫惟明的介入，使李林甫跟太子之間原本處於暗中的較量一下子成為公開的秘密。

李林甫在得悉了皇甫惟明的密奏後，便利用宰相的有利身份，開始佈置反擊並加快了扳倒太子李享的行動。

李適之性情粗率，李林甫就使人告知：「華山有金礦，采之可以富國，但聖人不知此事。」

李適之聞之大喜，就火急火燎的奏言於聖人，聖人更是大喜就即問於李林甫，李林甫見李適之中計，立即道：「啟奏聖人，此事老臣早巳知曉，只因為華山是聖人的本命所在，不宜於開採，所以不敢建言。」

李隆基了李林甫所言，大讚李林甫之細心周密，同時斥責李適之慮事不熟，更是直接對李適之道：「自今以後奏事，應先與李林甫議之，不要輕率地建言。」

李適之經過李林甫這麼一頓敲打，對李林甫懼意大起，也失去了聖人的恩寵。

李適之失去聖人的恩寵，而太子李亨的妻兄韋堅失權，同病相憐之下二人往來更加親密。起初聖人立忠王李璵為太子，就不合李林甫心意，李林甫害怕以後與自己不睦的李亨（已從李璵改為李亨），所以常常有動搖太子之心。

天寶五年的上元節，風清月朗，千牛衛將軍張博攜帶著妻兒出遊長安城，賞花燈，恰巧遇到了太子李亨出遊。對於張博這位少年成名的猛將，李亨可是很有好感，噹噹上太子之後，也是產生了如同之前的廢太子李瑛般的想法，要將張博收入麾下，奈何一直找不到時機！

如今太子李亨的處境，並不比當初李瑛的處境好，相反更是不好。張博不想陷入漩渦中，更知道在現在的處境下，要是跟李亨相好，那麼對誰都沒有好處。

對於張博只是向自己行禮，隨之而去，李亨也是理解的，隻好笑笑繼續逛著燈市。

張博接著不久又遇到了皇甫惟明和韋堅，皇甫惟明畢竟也是老上司，又有一同作戰的情誼，況且當初任河源都督的時候待自己還不錯，也就先行禮問安，在交談幾句。

分別時，韋堅突然問道：「張將軍，可曾見到太子殿下？」

張博一愣，身邊的長子張風卻道：「太子殿下在前面不遠！」

張風不會知道，自己的這一句話所帶來的後果…

李享也只是跟趕來的皇甫惟明和韋堅一起看了一個花燈，交談了幾句就分開了。之後韋堅又與皇甫惟明一同前往位於城內崇仁坊中的景龍道觀。

以二人太子妃兄與邊鎮節帥的身份，夜間相約，私相往來，勢必會給宰相李林甫以可乘之機。果然，這一次和太子三人同遊燈市，又私下約談，沒有逃出李林甫的暗中監視。

李林甫立即要禦史中丞楊慎矜上奏，以韋堅乃皇親國戚，不應與邊將「狎昵」為由對韋堅提出彈劾。李林甫則向李隆基奏稱：「欲共立太子。」

李隆基就是利用政變上位，廢太子李瑛、鄂王李瑤和光王李琚三個親兒子只是被武惠妃誣陷，就毫不猶豫的廢除殺害，最無法容忍的就是臣子的圖謀不軌。

於是李隆基眉頭都不皺一下就毫不猶豫地下詔進行審訊。李林甫得旨，遂指使手下羅織罪狀，想把太子牽扯進來。李隆基雖然也懷疑韋堅與皇甫惟明有構謀之心，卻不想輕易涉及太子，畢竟「三庶之禍」的教訓太深刻了。

一下子幹掉三個兒子，史上的帝王中畢竟不多見。

李隆基不想把韋堅案擴大化，要求立即結案，遂給韋堅定了「乾進不已」的罪名，將他由刑部尚書貶為縉雲郡（今屬浙江）太守，皇甫惟明則以「離間君臣」的罪名，解除河西、隴右節度使的職務，貶為播川郡（治今貴州遵義）太守，並籍沒其家。

這一處理，只是限於懲治韋堅、皇甫惟明的個人過失，並未有任何針對太子李亨之處。皇甫惟明的兵權則移交給朔方、河東兩道節度使王忠嗣。