不幸的是，三年后王皇后被打入冷宫，武则天成了国母。李忠背靠的大树轰然倒地，他这个猢狲的好日子结束了。显庆元年（656）正月，李忠被贬为梁王，武则天的宗子李弘被立为太子。
在此之前，因反对调皇后而遭贬斥外埠的褚遂良也忧愤成疾而亡。李勣明哲保身，噤若寒蝉。至此，李世民期间的元老重臣悉数退出了权力中间。李义甫、许敬宗等人渐次升官成了宰相，“后党”权势巨增。
李治对其他健在的同父异母的兄弟实在放心不下，因为他们与他一样，都是先皇的血脉传人，有资格当天子，即便他们本人没有野心，也得防备别有用心者拿他们做文章。历朝历代，天子最不放心的就是兄弟们。基于此，李治不成能从兄弟之间寻觅枪手。
在李治的平生中，最让他饱受精力折磨的是三个亲生儿子的惨痛遭受。白发人送黑发人的悲剧，在他身上一再重演。
在武则天争夺皇后之位的过程中，逐步构成了“后党”。其核心人物是笑里藏刀的中书侍郎李义甫、礼部尚书许敬宗等人。武则天当了皇后不久，便教唆这帮虎伥罗织罪名，诬告太尉长孙无忌谋反，将其逼死。
他的病情日渐严峻，头疼欲裂，双目几近失明，对于上朝“听”政、访问外宾、祭奠六合祖宗的繁文缛节，心生厌倦，故意有力，苦不堪言，他与群臣商讨，筹算让武则天“摄知国政”，即由武则天当“代理天子”，本身就不必每次被武则天押着上朝了。
大权旁落
武则天成了皇后后，兄弟二人也当了不小的官。但他们并不感激mm，却以为本身是功臣后辈。理所应当。武则天恨得牙关紧咬，将他们贬出都城，到外埠任刺史，武元庆吓得死在任所，武元爽厥后被武则天寻了个由头，放逐至死。
废黜李忠太子之位时，李治高举双手乃至抬起双脚表示同意，因为武则天此时是她最敬爱的女人。立最敬爱的女人的儿子为太子，是给最敬爱的女人的最好的贡献，最能讨最敬爱的女人的最大欢心。
李治在女人面前一贯是豪杰豪杰。紧攥双拳，砸向案几，大声嚷道：“就这么办！”上官仪毫不怠慢，立即草拟了废黜皇后的圣旨。
究竟上，李忠的废立，在李治心中能够说是波澜不惊。因为李治与李忠的生母刘氏本无豪情，李忠是他一时性起的副产品。李忠被立为太子时，李治方才当了三年天子，国事沉重，加上又是新手，天然得空教诲儿子，更得空培养豪情。他们二人，名为父子，实同路人。
武则天当仁不让，乘机“雌”起，大模大样地坐在御榻上日理万机，权势垂垂放大，石榴裙边聚满了蚊香逐臭之徒。
王皇后的枕边风加上柳奭等人雷鸣般敲响的边鼓，收到了奇效。永徽三年（652）七月，李忠当上了太子。
此时年仅三十四岁的李治已经有了两任太子。首任太子是李忠。生母为刘氏。武则天当上皇后后，李忠被贬为梁王。武则天的四岁的宗子李弘被立为太子。现在独一九岁，没有当“枪手”的资格。
李忠被贬后，内心不安，老是思疑有人关键他，常常穿戴女人的衣服以防备刺客；又多次占卜休咎，求神问鬼，以求安然。墙倒世人推，有个小人告密了他。显庆五年（660）六月，李忠被一撸到底，贬为庶人，放逐到荒蛮之地的黔州。
李治大怒：这还了得，搞到老子的头上来了！他思疑武则天是幕后主使，便找来西台侍郎上官仪，密商对策。上官仪本来是废太子李忠身边的人，也是个敢作敢当的奇女子。言道：“皇后横行霸道，人神共愤。举国悔恨，请皇上废了她！”