玄宗被他一番话打动，说：“爱卿言辞恳切，看来去意已决，但朕现在拿不定主意。爱卿先回家去，黄昏时可能有使者到你家，如无使，你还是应该像往常那样来上朝。”
到了掌灯时分，玄宗才命高力士给萧嵩传诏，说：“朕舍不得爱卿离开，本打算坚持留你，然而考虑到君臣一场，贵在全大义，这也是国家之美事，所以考虑再三，就依了爱卿，撤掉你的右丞相职务吧。”
唐朝最特殊官职——不良人
大型3D动画《画江湖之不良人》中，有个角色叫“不良帅”，还是大唐国师，原型为真实的历史人物袁天纲。袁天纲大家都比较熟悉了，四川成都人，隋末唐初星象学家、相士、道士、风水大师、预言家，隋朝的时候当过资官令，唐武德年间当过火井县县令。
传说他精通面相和阴阳五行，可凭风声风向断吉凶，一断一个准。相传他著有不少有关面相、天文、风水方面的作品，比如《九天玄女六壬课》《五行相书》《易镜玄要》《三世相法》《袁天纲称骨歌》等，只不过大多已亡佚不见。
袁天纲最著名的事迹有两件，一件是武则天很小，还在保姆怀里抱着的时候，他就预测武则天将来会当皇帝，后来果然如此。一件是和弟子李淳风合著《推背图》，号称中华预言第一奇书——传说他们为唐太宗推算大唐国运，他们用周易八卦进行推算，李淳风推上了瘾，不想住手，一推就推到了唐以后两千多年中国的命运。直到袁天纲推他的背，叫他回去休息，别累死了，他才住手，所以书名叫《推背图》。