高仙芝的一系列错误举动,导致西域各国对唐王朝怨恨四起。唐王朝在西域的威望也大大降低,“由是西域不服”。石国王子逃走后,把高仙芝所做的混账事告诉了诸胡部落,诸胡部落大怒,暗中联合大食国,准备一起攻打安西四镇(龟兹、疏勒、于阗、焉耆)。大食国早有扩张计划,正好借机实施。
获知消息的高仙芝当然不能让他们的“阴谋”得逞,他决定先发制人,于天宝十年四月亲率蕃、汉兵三万攻打大食,深入大食国境七百多里,于怛罗斯城(又作咀逻私,今哈萨克斯坦共和国东南部江布尔城)与大食军遭遇,爆发了历史上著名的“怛罗斯战役”。
据阿拉伯史书《创世与历史》记载,大食国人得到高仙芝进攻的消息后,驻巴士拉的东方总督艾布·穆斯林立即命令部将塞义德·本·侯梅德带领部下数千人抢先驻守在怛逻斯城中,艾布·穆斯林则率领自己的一万人赶往撒马尔罕构筑工事;高仙芝率军赶到后,接连攻打了五天都没拿下,五天后大食国的援军赶到,从背后袭击高仙芝的军队。在外围警戒的葛逻禄部雇佣兵见事不妙突然逃跑,唐军阵脚顿时大乱。阿拉伯联军趁机出动重骑兵,突击唐军阵营的中心,高仙芝大败,几乎全军覆没,他本人乘夜逃跑,最后逃回安西的残兵败将仅有数千人。