据说，当时的应天城中，半城的高官都是淮西人。朱元璋就是淮西帮的帮主，而李善长则是副帮主。由于朱元璋的主要身份是皇帝，因此，李善长就成了淮西帮的大当家的。
当公务不忙时，李善长会坐在他的办公椅上向外望。他能看到高大粗壮的红柱子，看到青灰色的砖墙，看到宫廷侍卫闪闪发光的盔甲，还能看到空气中的流气如万马奔腾。于是，他站起来，找他的淮西老乡们用家乡话聊天。越是有外省市的人在，李善长的家乡话就说得越地道，声音就越大。他只是想告诉那些非淮西人，这个政府是他们淮西人的，他是淮西帮的头子。
1368年的头四个月，李善长春风得意，但他也有烦心事，让他烦心的事就是刘伯温的为人。有一段时间，李善长特意关闭房门，严肃地思考刘伯温。刘伯温自1360年来到应天后，巨大的能量始终让李善长如芒刺在背。不过，由于二人的工作性质不同，李善长主要负责的是后勤，刘伯温负责的是战前谋划，因此两人没有大的冲突。李善长曾在朱元璋面前积极表现出他瞧不起刘伯温，朱元璋曾问他，谁是象纬高手，他硬着头皮回答是宋濂。其实，宋濂在他心目中远没有这样大的分量，他当时的回答只是出于意气，只要不是刘伯温，任何阿猫阿狗都可以。朱元璋矫正他说：“其实刘伯温才是象纬高手。”刘伯温在朱元璋和陈友谅的战争中所表现出的才气与神乎其神的卜算能力，让李善长既妒又恨。不过，他始终没有把刘伯温看成是对手。很简单，他是淮西帮的头，新中国就是淮西帮建立的，刘伯温无论如何，也不过是他们淮西帮的工作人员。