贞观二十一年（647年），李道宗因身体不适请居闲职，转为太常卿。永徽元年（650年），李道宗加授特进，增实封并前共六百户。永徽四年（653年）二月，房遗爱（房玄龄之子）、薛万彻、柴令武（柴绍之子）因谋反被杀。房遗爱、高阳公主谋反一案牵连了众多的皇亲国戚，其中包括长孙无忌一向忌惮的吴王李恪，还有与长孙无忌、褚遂良有宿怨的江夏郡王李道宗。在这场血淋淋的权利斗争中，驸马都尉房遗爱、薛万彻、柴令武被斩首示众，荆王李元景、吴王李恪、巴陵公主、高阳公主都被赐死，李道宗持身再正，也逃不出报复式的清洗，他被流放象州（今广西柳州东南），在路上就病逝了，享年五十四岁。权利斗争周而复始，武则天得势，长孙无忌、褚遂良重蹈李道宗的命运，李道宗又被追复爵邑。
