没有了父亲的管束后，高阳公主更加肆无忌惮，无法无天，包养了更多的情人。也许因为她的初恋是个和尚，所以她对这一类人总是情有独钟。和尚、道士这些方外之人士在她情人中占了相当大的比重。但是，因为李唐王朝有鲜卑族的血统，对于传统礼教不大在乎，所以公主的这些出位之举还算不了什么。她一生中犯的最大错误不是给丈夫戴绿帽子，而是和他在政治上搅到一起了。
高阳公主的丈夫房遗爱在贞观朝属于魏王李泰一党。贞观十七年，魏王李泰和太子李承乾因为争位双双被废，不久李治被立为太子。所以，到高宗时期，房遗爱在政治上属于失势派，被贬为房州刺史。房遗爱是公子哥儿出身，宰相的儿子，公主的丈夫，本来也是娇生惯养的，到了地方之后，他不大受得了艰苦的生活，就满腹牢骚，和一群跟他一样失意的皇亲搅在一起，整天讲怪话。这一伙人除高阳公主夫妇外，还有辈分较高、野心勃勃的荆王李元景、当年同属魏王阵营的巴陵公主驸马柴令武，胆大脑小、因事贬官的丹阳公主驸马薛万彻等，整天在一块儿发牢骚，其实倒也没有什么真正的举动。尽管如此，他们还是被人告发了。告密者是什么人呢?就是房遗爱的哥哥房遗直。高阳公主不是曾经张罗着和房遗直分家吗，后来她又想要房玄龄的封爵了。可是爵位归长子继承，她的丈夫不是长子。于是，高阳公主一不做二不休，诬告房遗直非礼她，想借此搞倒他，让自己的丈夫继承爵位。房遗直终于忍无可忍了，另外，他也很担心这小两口闹过了头累及房氏一门，只好向唐高宗告发了房遗爱等人的政治阴谋。房遗爱组织反政府小团体，高阳公主又去结交和尚、道士，经常搞点什么望气、算命之类的不轨行为，两人的活动加起来，这不就是谋反吗!
这可不得了，皇亲国戚参与谋反，事关重大，唐高宗立刻委托宰相长孙无忌调查。长孙无忌一经核实，反状确凿。国有常刑，这些人本来也是难免一死，但是，长孙无忌并不满意这样的结果。他还要借此机会把谋反案扩大，将所有的政治反对派都罗织进来，一网打尽。于是，在他的威逼利诱之下，房遗爱又牵扯出了吴王李恪。吴王李恪也是唐太宗的儿子，他母亲是隋炀帝的女儿，血统非常高贵，李恪本人也英武果敢，有乃父之风，当年深得唐太宗的喜爱，唐太宗曾经一度动念头要立他为太子，后来因为长孙无忌的反对才没有实现。所以在长孙无忌的心中，一直把他视为李治的潜在威胁。现在，吴王虽然没有参与房遗爱的行动，但是，因为这样一段不愉快的往事，长孙无忌还是把他拉进来，以谋反罪将他处死。吴王一向人望很高，又小心谨慎，怎料会横遭长孙陷害!据《资治通鉴》记载，李恪临死前大骂：“长孙无忌窃弄威权，构害良善，宗社有灵，当族灭不久!”和他一起被杀的还有荆王元景，高阳、巴陵二公主以及房遗爱、柴令武、薛万彻三位驸马。接着，一大批对李治的统治形成威胁，或是跟长孙无忌不和的宰相、将领、宗室、驸马，无论是否真的参与过阴谋，都被牵扯进高阳公主谋反案中，贬往地方。这就是永徽年间轰动一时的高阳公主谋反案。
长孙无忌当时把谋反案上纲上线地处理，本不乏为李治考虑，帮他稳定政局，杀李恪的用心正在于此。但是他的这番杀戮，隐隐露出了震主之威。看到长孙无忌收拾勋贵就像碾死一只蚂蚁那么容易，李治能不心惊吗?裂痕就在那时候出现了。风水轮流转，当年的翻云覆雨，如今全成了请君入瓮。高阳公主谋反案，现在变成处理长孙无忌一案的先例。
唐高宗既然自己先提出了高阳公主谋反案，许敬宗接下来的事情就好办了。怎么处理长孙无忌呢?前事不忘，后事之师，按既定方针办就可以啦。于是，许敬宗说：“遗爱乳臭儿，与一女子谋反，势何所成!无忌与先帝谋取天下，天下服其智;为宰相三十年，天下畏其威。若一旦窃发，陛下遣谁当之?”他说，长孙无忌谋反的危险性远远大于当年的高阳公主谋反。高阳公主是一个女子，和乳臭未干的房遗爱谋反，两个人都没什么号召力，很难成事啊。但是长孙无忌和先帝一起谋取皇位，又当了三十年宰相，在朝廷里威望很高。现在如果他狗急跳墙，振臂一呼，陛下怎么办呢?
到此为止，案子的结论和处理意见基本都已经出来了。按照许敬宗的意思，在参考高阳公主案的基础上，还要加重处理。但是唐高宗并没有同意许敬宗的处理意见，他说这事别急于定论，你再审审看。许敬宗就纳闷了，这案子还有什么油水呢?回家苦苦琢磨了一夜，终于恍然大悟了。
第二天，许敬宗又上奏了。他说，我昨天又审了审这个案子，发现比我想的还要严重。原来以为只涉及长孙无忌一个人，现在才发现，这是一个牵连若干大臣的大阴谋。我昨天回去提审韦季方，我问他，说长孙无忌是当朝国舅，皇帝与先皇都对他那么信任，他为什么要谋反呢?韦季方说，这事开始也不是长孙无忌的意思，是韩瑗在挑拨他。韩瑗曾经对长孙无忌说，当年您和王皇后的舅舅柳奭以及褚遂良三人合谋立李忠做太子，现在李忠已经被废，皇上也不信任您了，您还不早做打算啊?长孙无忌一听，有道理啊，于是就日夜和这些大臣策划谋反。都和谁策划呢?韩瑗、褚遂良、来济、柳奭，还有于志宁。看来，这不是长孙无忌一个人的事情，几乎所有的元老大臣都和这个案子有牵连。
到了这一步，唐高宗终于觉得这个案子的利用价值被挖掘得差不多了，他再也无话可说，于是，长叹一声，又一次潸然泪下。他说：“舅若果尔，朕决不忍杀之。若杀之，天下将谓朕何!后世将谓朕何!”我舅舅就算谋反，我也绝对不能杀他。我要是杀了他，天下人会怎么议论我?子孙万代将怎么议论我啊?这等于皇帝完全认可了长孙无忌的谋反，但同时他还要作一番仁慈的表演，他要法外开恩，免去长孙无忌的死刑，以免被天下人耻笑。注意，这句话他可不是第一次说了。当年处理高阳公主谋反案的时候，他也曾经说过：“荆王，朕之叔父;吴王，朕兄，欲丐其死，可乎?”当时，长孙无忌不答应他的请求;现在，许敬宗同样劝他大义灭亲。许敬宗说了：“古人有言：‘当断不断，反受其乱。’安危之机，间不容发。无忌今之奸雄，王莽、司马懿之流也;陛下少更迁延，臣恐变生肘腋，悔无及矣!”就是说皇帝应该天下为公，大义灭亲，不能存妇人之仁。话说到这一步，唐高宗觉得该解决的问题都解决了，案情现在看起来脉络清晰，处罚的理由充分，足可以让天下人心服口服了。于是下令削去长孙无忌的太尉头衔和封地，给他一个扬州都督的头衔，把他押解到黔州安置。黔州是现在重庆的彭水县，当时是挺偏僻的一个地方。不过，唐高宗说了，长孙无忌毕竟是他的亲舅舅，不忍心看着他受苦，因此仍按一品大臣的待遇供给饮食。
可是事情到此并未彻底结束。前面说过，武则天要巩固皇后的位置，必须对外廷重新进行优化组合。把反对她的人清除出去，把拥护她的人请进来。而在打击反对派这个问题上，她是分两步走的。第一步，清除反对派中势力相对小的褚遂良、韩瑗、来济，把他们贬往地方。第二步，在外围组织已经被清理之后，再清除反对派的核心力量长孙无忌。这样做是为了慎重起见，避免一下子打击面过大，造成政局不稳。换句话说，就是让反对派心存幻想，逐步丧失斗志，最后坐以待毙。现在，长孙无忌已经倒台，唐高宗和武则天再没什么顾忌了。他们终于可以施展手脚，把反对派一网打尽。
