推到了极为危险的境地。
原来韦坚被贬之后，他的弟弟将作少匠韦兰、兵部员外郎韦芝上疏替他鸣冤叫屈，二人为了达到目的，还引太子亨作证，谁知这样一来，更加招致玄宗龙颜震怒。事情一下变得复杂起来。太子亨见状，极感恐惧，为了逃脱自己与韦坚兄弟之间的干系，立即上表替自己辩解，并以与韦妃“情义不睦”为由，请求父皇准许他们离婚，以表明“不以亲废法”。玄宗着意对太子亨加以慰抚，听任他与韦氏离婚，断绝了关系。韦氏不得不削发为尼，在宫中寺庙做了永成陌路的出家人。
此事之后，紧接着又发生了一件事，此事又是一桩政治案，太子李亨的杜良娣（地位比太子妃低）的父亲杜有邻是赞善大夫，是东宫属官，他被他的另外一个女婿左骁卫兵曹柳勣状告，罪名是“亡称图谶，交构东宫，指斥乘舆”，原因是两家关系不好，想陷害妻族，但此时被李林甫揪住不放，将李邕、王曾等一批好友都牵扯进去。最后太子也被牵连进来，玄宗立即令京兆府会同御史台官员审问。案情很快明朗，原来都是柳勣搞鬼。但李林甫授意手下指使柳勣诬告，先将案情扩大，又引李邕作证，使案情一下子扩大到地方官员，大有废太子李亨于朝夕之势。但玄宗仍旧态度谨慎，他对下级官员的告密未加宽贷，因柳勣、杜有邻等与皇室有亲戚关系，特予免死，判杖决，贬往岭南。但杖刑在执行中出入很大，杜有邻、柳勣均在重杖之下丧命，积尸大理寺，妻儿家小流徙远方。由于牵连出李邕，李林甫特命人奉敕往北海将其决杀，李邕时年已70多岁。
杜有邻一案让太子李亨惊恐万分，他为了向玄宗表明自己的清白无私，不得不把杜良娣抛出来，宣布与她离婚，于是杜良娣被迁出东宫，废为庶人。杜氏家人已是死的死，流放的流放，境遇十分凄惨。
两次大案，两次婚变，接踵而来。一波未平，一波又起，都与自身个人安危直接相关，李亨身心由此蒙受巨大的创伤，精神受到极大刺激，手里的势力也被削弱到了极点。
李亨后