楊慎矜本來一直依附於李林甫，但是從最開始，楊慎矜就是逼不得已，李林甫的權勢太盛，他才被逼無奈，成為李林甫的走狗。
但是當朝廷中，韋堅，李適之政治集團被消滅，東宮李亨支援折皇甫惟明、王忠嗣被掃清的時候，楊慎矜已然失去了當日的價值，而且楊慎矜三兄弟掌控著朝廷的財政大權，最有可能威脅到李林甫的宰相之位，飛鳥已盡，良弓無用，李林甫開始將矛頭對準楊慎矜。
李林甫一直以來信奉的原則就是要保持既有的權位，就要毫不憐憫地打擊一切競爭對手，沒有適可而止，絕不能有婦人之仁，王忠嗣一除，李林甫就開始盤算如何對付楊慎矜。
原本楊慎矜如果對李林甫死心塌地或許還有一線生機，可惜矛盾起於韋堅之案，楊慎矜儘管是第一彈劾人，但在具體審訊中，卻顯出遊移的態度，這種態度，讓王珙產生了憤恨，憤恨他首鼠兩端；讓李林甫產生了遺憾，遺憾他企圖保持中立，脫離自己的軌道。
楊慎矜與王珙的父親是表兄弟，從而是王珙的表叔，打小兩人關係不錯。他為了拉攏王珙，推薦王珙進了御史臺，做了御史大夫，成為地位相等的同僚。然而他不知人隨著地位變化要起心理變化，以為自己是表叔，依然直呼王珙的名諱，弄得表侄很是掛不住臉。
李林甫看出楊、王之間的矛盾，用進一步抬高王珙的手法，來冷落楊慎矜，讓他們產生分化，這一招果然有效，王珙照著李林甫做後臺，有恃無恐，對表叔的態度變得不大恭敬起來。楊慎矜不知內中緣由，為了教訓王珙，剝奪了他的職田，並且經常詆譭王珙的母親出身低微。他一邊繼續交惡王珙，一邊仍然認為是自家人，竟然愚蠢地把違禁的攵書給王珙看。王珙嘴上應付，暗中卻拿住了這一對楊慎矜的致命把柄。
或許是楊慎矜真的是時運不濟，父親墓園的草木出現了紅水，紅水象徵著血水，使楊慎矜感覺到大難即將降臨，急忙命人喚來交遊密切的還俗僧史明忠，詢問應該怎樣躲避這個災禍。
史明忠在楊慎矜的後花園用道術作法，讓他每日退朝之後，自己帶著桎梏在樹林中裸坐，十日之後，紅水果然消失了，楊慎矜對史明忠的道術更加深信不疑，將史明忠供養在自家府中，但是李隆基對這一類道術是有明令禁止的，尤其是官員，堅決不能接觸這類道法，這都源於過去太平公主秘聞。
楊慎矜為李林甫陷害了很多大臣，時間長了，做了虧心事，總覺得心神不寧，而且現在朝廷中再也沒有人能撼動李林甫的地位，殺的殺，貶的貶，楊慎矜位高權重，總是預感到將有大禍臨頭，日子久了，抑鬱成疾。
這時他想到了史明忠，就將此事告知史明忠，並且詢問史明忠安身立命之計。
史明忠就在房間內作法，做法成功之後，史明忠高深莫測地說道：“天下即將大亂，楊大人可以辭官歸家，在臨茹置田百畝，可以避過災難，儲存性命，否則將會有大劫。”
然而話剛說完，就聽的屋外一鎮玉碎之聲。
楊慎矜大驚，發現是婢女明珠驚慌失措地站在門外，茶杯摔碎在地上。
楊慎矜讓人見那個明珠綁起來，就要杖殺她，但是被史明忠制止了，史明忠說道：“勿殺，賣了可換十頭牛，一年能耕十傾田，上天有好生之德，大人既然不在意，不如就送給貧僧吧。
【目前用下來，聽書聲音最全最好用的App，集成4大語音合成引擎，超100種音色，更是支持離線朗讀的換源神器，huanyuanapp.org 換源App】
其實楊慎矜如此狠心要殺明珠，實在是因為擔心明珠聽到了不該聽到的，不過史明忠求情，他也不好拒絕，再者，楊慎矜發現史明忠屢屢把眼睛盯向明珠，不便明說，就順水推舟將明珠送給史明忠。
當晚，史明忠攜美返家，途中經過楊玉環的姐姐柳楊氏的宅前，韓國夫人邀請史明忠到房內說話，正好看到了史明忠車內的明珠，覺得明珠長得漂亮，就請求史明忠將明珠賣給她，史明忠心裡叫苦，這個明珠若是一般的美人還好，只不過她既然聽到了自己對楊慎矜說的秘密，實在是不能賣給別人，一旦事情敗露，可是要殺頭的。
史明忠含蓄地拒絕了，卻不料韓國夫人浪蕩地笑著說道：“莫不是高僧動了道心？”
一言擊中史明忠的軟肋，他就是看到明珠長相不錯，才懂了色心，不忍就這樣白白被杖殺。最後韓國夫人強硬地給了史明忠留下一筆錢，將明珠扣下來。
韓國夫人堅決要買明珠，並不是給自己用，而是為了討好皇帝，她知道皇帝喜歡女色，雖然有楊玉環陪伴，仍然命高力士組織了一個討花使，專門為皇上在民間尋找年輕貌美的秀女。
第二日，明珠被韓國夫人帶進宮，李隆基見到絕色，而且明珠伶牙俐齒，就把明珠留在宮中侍寢，歡娛過後，李隆基問明珠的身世，同時知道了她出自楊慎矜的府中。
李隆基玩笑地問道：“楊慎矜缺錢嗎，怎麼忍心將這樣的美婢賣掉？”
聽到這話，明珠忽然哭的梨花帶雨，將楊慎矜請史明忠作妖法，並且史明忠預言天下將亂的事情添油加醋地洩露給皇上。
李隆基得知之後，心中雖然對楊慎矜作妖法之事非常痛惡，但是卻含怒未發，畢竟楊慎矜是自己非常重新的財政大臣，每年都給皇宮省下大筆財物。
不過慢慢地，李隆基對楊慎矜也漸漸疏遠起來。
李林甫在宮中打點的非常周到，資訊非常靈通，知道了這件事情，就讓人將此事透露給王珙。王珙知道了這個訊息，開始把原先壓抑的憤恨寫在臉上，開始恣意侮辱楊慎矜，楊慎矜不知個中情由，依然擺著表叔的架子，嚴斥了表侄。
表叔既然不屈服，王珙覺得自己已盡了最後的情分，遂和李林甫密商，構造楊慎矜的罪狀。
旋即，御案上多了一張這樣的飛碟：
“楊慎矜是隋煬帝的玄孫，家藏攵書，和奸人往來，陰謀恢復祖業。”
李隆基看到這個奏牒，龍顏大怒，命人將楊慎矜收入尚書府，下詔命令刑部尚書蕭炅、大理寺李道芹、殿中侍盧鉉以及楊國忠共同審查，並且命令大理寺將楊慎矜的兩個弟弟太府少監楊慎餘、洛陽令楊慎名全部押入大牢考訊。