西晋的国都长安虽被攻陷，但南方还在晋朝掌握之中，于是北方的士绅贵族纷纷逃到江南避难。镇守建康（今江苏南京）的琅琊王司马睿，挑选有名望的士绅106人辅佐，于公元317年在建康即位，重建晋朝，称为晋元帝。为与司马炎建立的西晋相区别，历史上把这个朝代称为东晋。
两晋的历史，西晋五十一年，东晋一百零四年，共计155年。
东晋灭亡后的170年时间里，出现了南北政权对峙的局面。南朝先后换了宋、齐、梁、陈四个朝代，北朝的北魏，分裂为东魏与西魏。东西魏又分别被北齐、北周所代替，历史上把这段时期称为南北朝。
东晋的晋安帝在位22年，被将军刘裕谋杀，继位的晋恭帝又被他毒杀。公元420年，刘裕篡位做了皇帝，改国号为宋，是为宋武帝。刘裕只做了三年皇帝，就病死了。七代六十年以后，传到宋孝武帝时，又被禁军统领萧道成照样翻版篡位，灭宋称齐。
公元479年，萧道成称帝，建立南齐，是为齐高帝。南齐王朝也只经历了24年，就又被同宗的雍州刺史萧衍所废，改国号为梁，就是历史上吃素学佛的梁武帝。