祖逖24岁时,担任了司州（治洛阳）主簿.主簿是主管文书簿籍的小官.他有一个同事,叫刘琨.刘琨是汉朝宗室中山靖王刘胜的后代,也是一个有志气的青年.两个人因为意气相投,成了好朋友.他们经常谈论时事,谈建功立业,报效国家,一谈就是大半夜,于是同床抵足而卧.有一天,他们也是谈得很晚,刚刚着枕,刘琨已是鼾声如雷了.祖逖正蒙眬入睡,突然听到了荒鸡（古人把三更以前鸣叫的鸡叫荒鸣.荒鸡的叫声被看作邪恶之声,是兵起之象.）的叫声.他猛然惊醒,用脚朝刘琨猛一登,叫醒刘琨说：“你听,你听,这不是荒鸡的叫声吗?恐怕天下要大乱了,我们还能安稳地睡觉吗?”于是取过双剑,就在庭院中舞起来.刘琨揉了揉眼,想了想,说：“对!应该居安思危!”也去取了双剑,和祖逖对舞起来.