刘裕谨言慎行获得了桓修的信任。两年后桓玄倒行逆施遭到世家和晋皇室的联手制衡。
404年二月刘裕认为时机已经成熟，开始实施推翻桓玄的计划。刘裕以游猎为名，会同刘毅、何无忌等27人在京口举兵起义。这27人包括何无忌、魏咏之、檀凭之、刘毅及其堂弟刘藩、檀凭之的侄子檀韶、檀祗、檀隆、檀道济等，都是侨居京口的北府军旧部。
起义军迅速行动，何无忌身穿传诏服，诈称朝廷使臣，率众涌进京口城，杀死了徐州刺史桓修。与此同时，刘毅与孟昶在广陵（今江苏扬州）共收集北府兵1700余人。
京口起兵后，刘裕被推举为盟主，率部向建康进军。在进军过程中，刘裕军队连战连捷：
1.江乘之战：三月，刘裕在江乘（今江苏句容北）遭遇桓玄派来的猛将吴甫之，将其斩杀。
2.罗落桥之战：刘裕追击至罗落桥（今南京东北），与皇甫敷率领的数千人激战，皇甫敷战死。
3.覆舟山之战：三月初二（己未日，3月28日），刘裕进军至覆舟山。他采用疑兵之计，命弱兵登山，持旗分道而行，营造四周皆有士兵的假象。由于桓玄守军大多是北府军出身，面对刘裕都没有斗志，刘裕趁机火攻，大败桓谦军。
4.占领建康：三月壬戌日（3月31日），刘裕攻占建康桓玄夹持晋安帝逃亡。
进入建康后，刘裕立即进行了一系列重要的政治军事安排：
1.官职任命：刘裕被任命为都督诸军事、镇军将军、徐州刺史等职，掌握了军事大权。随后又被任命为侍中、车骑将军、都督中外诸军事等要职。
2.推举盟主：刘裕推举武陵王司马遵为大将军，承制总百官，自己则担任总领百官。实际掌握东晋军政大权。刘裕开始实行以追杀桓玄为由头大肆攻伐沿途门阀世家豪门。
任命徐羡之尚书库部郎、常驻建康。任刘穆之为尚书录事与徐羡之一起稳定北府军后方。
刘裕为中军由檀道济为帅，沈田子，王镇恶为大将，朱龄石为先锋沿途追击桓玄。由此拉开了刘裕独有的改革方式，南方门阀的恶梦开始了。
桓玄率禁军裹挟晋安帝出建康，首站直扑京口——侨姓门阀郗氏的“北府兵发源地”。他以“北府兵需随帝护驾”为由，强征郗氏私兵3000人，且要求郗氏交出府库中半数粮草。郗氏宗主郗僧施以“私兵乃宗族屏障”拒命，暗中联络诸葛氏合兵守城。桓玄假意谈判，趁夜派精锐伪装流民偷袭城门，破城后以“谋逆护驾”为名，屠郗氏核心族人200余口，焚烧郗氏坞堡，诸葛氏援军刚至城外便遭桓玄伏兵截杀，首领诸葛长民（历史上刘裕部下，此处提前激化矛盾）仅率数骑突围。刘裕尾随部队次日入城，以“安葬名士、抚恤流民”为名收编郗氏残余部曲，接管京口兵源地。