房玄龄家族的没落似乎跟唐朝李世民之女高阳公主有很大的关系。

自从高阳公主跟辩机和尚的奸情败露后，又想着为自己的丈夫夺取房遗直的梁国公爵位。高阳公主谎称房遗直骚扰自己，将这件事爆料给了皇帝李治。

为此，李治专门成立了调查组，而调查组的组长是长孙无忌。

要知道这是长孙无忌要调查的是房家的事，这可是大好时机，顺便扳倒房家。长孙无忌为何要置房家于死地呢？

这要从皇位之争开始说起，李治是长孙无忌的外甥，而李世民在世的时候曾想过立魏王李泰为太子。房玄龄虽然没有公开反对李治，但也是唯李世民马首是瞻，所以间接性的同意李世民立李泰的。

只是，房玄龄的儿子房遗爱却是李泰的亲信。后来李泰犯了错误，被迫退出储位之争。房家成了失败的魏王党。因为储位之争，导致房家与长孙无忌产生隔阂。

借高阳公主这件事，长孙无忌打算来个螳螂扑蝉，黄雀在后。高阳公主因为梁国公这个爵位间接导致房玄龄家族的彻底破败。

长孙无忌在查出是高阳公主诬告房遗直后，接着调查下去。长孙无忌发现高阳公主在家中观察天象，暗中查看皇宫吉凶，私窥天象是触犯法律的，长孙无忌并没有直接调查房遗爱，而是通过房遗爱的亲近之人薛万彻，荆王李元景再将房遗爱捉拿，利用房遗爱怕死的特点还供出了吴王李恪。

一件事情被长孙无忌牵出大批的皇亲国戚，因为此事的原因，长孙无忌对房遗爱的供词拟订判决结果:

房遗爱，薛万彻，柴令武斩首！

李远景，李恪，高阳公主，巴陵公主赐自尽！

长孙无忌不但铲除了房家一族，还为自己的外甥李治扫除了一切潜在的威胁！

在此需要提的一点是，吴王李恪在自尽的时候愤怒的说了一句话:

长孙无忌窃夺君威，耍弄权术，陷害忠良，宗庙社稷如果有灵，不久就会遭灭族！

准确的说，这是个诅咒。仅仅五年后，这个诅咒居然灵验了。