刘牢之本为将门世家，家道中落，先是在地方担任武吏。郁郁不得志。机缘巧合归于谢玄麾下。因其勇猛常命为先锋。战无不捷，威震远方。但因其为寒门出身在世家把持的世界里却常被人看不起。
在谢玄免职后，掌控精兵北府军镇守京口。在桓温攻荆州时被王猛击败，被降职。
王恭起兵讨伐王国宝时，起用刘牢之为司马，兼任南彭城内史，加拜辅国将军。王恭虽然依仗刘牢之为得力助手，但仅把他当作一般武将，对他的礼数很薄，刘牢之心中非常耻恨。
王恭联合殷仲堪等势力，起兵清君侧，迫使司马道子诛杀王国宝等人。因为对司马道子任用司马尚之以及割豫州四郡归江州等不满，王恭以全军委与刘牢之，再次起兵逼宫朝廷。
刘牢之内心充满矛盾：依附王恭可借门阀之势巩固地位，却要受制于太原王氏；支持司马道子能获得朝廷正统名分，又恐北府兵将领不服。此时，司马道子的儿子司马元显派人游说刘牢之：王恭事成之后，必以将军为台鼎；若败，将军何颜见江东父老？不如反戈一击，朝廷当以王恭之位相授。
刘牢之还是选择了背叛，在竹里（今江苏句容）突然倒戈，率军突袭王恭大营。王恭猝不及防，兵败被杀。
后来东晋朝廷因桓玄叛乱下诏讨伐。元兴元年（402年）正月，晋廷下诏讨伐桓玄。刘牢之因为桓玄从小享有英名，如今又凭仗江南之众，担心无法制伏他，又考虑到消灭桓玄之后功盖天下，司马元显一定不会容忍自己，于是犹豫不决，不得已才率北府文武将士进驻洌洲。
桓玄派何穆劝道：“飞鸟尽，良弓藏，狡兔死，猎狗烹，敌国破，谋臣亡。”
刘牢之自以为手握重兵，才能智谋足以统辖江南大地。当时谯王司马尚之已被桓玄打败，使得士气低落，军心沮丧，于是刘牢之接受何穆的劝说，派遣使者与桓玄联络。
刘裕听说刘牢之欲投靠桓玄连同刘牢之的外甥何无忌等将领劝说。认为桓玄志大才疏，没有处理与世家混战，门阀争权的能力。且这人也是不能容有能力的下属胸怀。投桓玄是自投死路。刘牢之一概不听，下令儿子刘敬宣投降桓玄。
桓玄进建康掌控晋庭扫除反对势力后任命刘牢之为征东大将军，会稽太守，调离京口。又任命桓修担任徐州刺史加抚军将军坐镇北府，而出任桓修的中兵参军的刘裕则韬光养晦，静待时机。
桓玄控制北府军后立即展开清洗，诛杀高素、竺谦之、刘袭等将领，又命归降的孙无终镇压刘敬宣，彻底分裂北府军。刘牢之的北府旧将如高素、竺谦之、竺朗之、刘袭、刘季武、孙无终等人被杀，刘袭兄冀州刺史刘轨及宁朔将军高雅之，刘牢之子刘敬宣投奔冉魏。
刘牢之暗中联络刘裕等北府军将领准备孤注一掷与桓玄拼命时。
刘裕回答道：将军拥有几万精兵时，对桓玄望风而降。如今桓玄上控朝野、下掌雄兵，其威名正在鼎盛之时，形势人心皆对您不利，恐怕广陵也不是轻易到得了的，何况举兵讨伐呢？此情此景，我刘裕只有脱下军服，回京口老家罢了！当刘牢之试图召集部下商议讨伐桓玄时，参军刘袭直言不讳地说：事之不可者莫大于反。将军往年反王恭，近日反司马元显，今复反桓玄，一人三反，何以自立！说完，刘袭起身扬长而去，其他与会人员一见，连话也不说，就跟在刘袭的后面，全部逃散。最后手伸向半空，感受到了众叛亲离、无力回天的悲凉，天下哪里还有自己的立足之处呢？刘牢之想，一定是刘袭截杀了他，向桓玄邀功请赏去了，于是万念俱灰的他上吊自杀。