当时，东胡强大而月氏兴盛。匈奴单于名叫头曼，头曼敌不过秦朝，向北迁徙。十几年后，蒙恬死了，原六国贵族反叛秦朝，中原地区扰攘动荡，那些被秦朝打发去戍边的人又都离开了，于是匈奴摆脱了困境，又渐渐地渡过黄河，来到南岸，与中原原有的关塞接界。
头曼单于立有太子，名叫冒顿。后来受头曼宠爱的阏氏生了一个小儿子，头曼打算废冒顿改立小儿子，便让冒顿到月氏那里当人质。冒顿已经在月氏当人质，而头曼急攻月氏。月氏想杀害冒顿，冒顿偷了月氏的良马，骑着逃归匈奴。头曼认为冒顿勇猛，让他率领一万骑兵。冒顿制造了一种响箭，用来训练部队骑马射箭。他下令说：“我的响箭射向什么目标而不跟着尽力发射的，就杀他的头。”冒顿射猎鸟兽，发现有不射向响箭所射目标的人，就杀掉他。不久，冒顿用响箭射自己的良马，部下有不敢跟着发射的，冒顿马上杀了他们。过了些日子，冒顿又用响箭射自己的爱妻，手下人有的很害怕，不跟着射，冒顿又将他们杀了。又过了一段时间，冒顿出去打猎，用响箭射单于的良马，手下人都跟着发射。这时冒顿知道他的部下都可以利用了。一次，冒顿跟随父亲头曼单于打猎，他用响箭射头曼，他的部下也都跟着响箭发射的目标，射杀了头曼单于。于是他杀尽后母、弟弟以及不听命于他的大臣们，自立为单于。