上皇开元年间，下诏调集京中能谈佛老者，相互群情。有一孺子姓员名俶，年方十岁，与众问答词辨无穷，上皇嘉叹，因问员俶：“外边另有与你普通聪明的孺子么？”本来员俶乃是李泌的女人所生，与李泌为中表兄弟，当下便奏说：“臣母舅之子李泌，小臣三岁，而聪明胜臣十倍。”上皇即遣中使召之，李泌应召而至，朝拜之际，礼节娴雅。当时上皇方与燕国公张说弈棋，遂命张说出题试之。张说使赋周遭动静。李泌请言其略，以便说话。张说指着案上棋枰说道：
李泌本不乐仕进，久有去志，因乘间乞身道：“臣已略报圣恩，今请仍许作闲人。”肃宗道：“卿久与朕同忧，朕今将欲与卿同乐，何忽思去？”李泌道：“臣有五不成留：臣遇陛下太早，陛下宠臣太深，任臣太重，臣功太大，迹太奇。有此五者，以是断不成留也！”肃宗笑道：“且睡，他日再议。”李泌道：“陛下今就臣同榻同卧，尚不允臣所请，况异日香案之前乎？陛下不准臣去，是杀臣也！”肃宗惊奇道：“卿何疑朕至此，朕岂是欲杀卿者。”李泌道：“杀臣者非陛下，乃五不成也。陛下向日待臣如此之厚，臣于事犹有不得尽言者；况他日天下既安，臣一定能尚邀圣眷，尚敢言乎？”肃宗道：“卿此言必因朕不从卿先伐范阳之计也。”李泌道：“臣不是以，臣实有感于建宁王之事耳。”肃宗道：“建宁欲害其兄，朕故不得已而除之耳。”李泌道：“建宁如有此心，广平当极恨之；今广平王每与臣言其冤，为之流涕。况陛下昔欲用建宁为元帅，臣请用广平，若建宁果有害兄之意，宜深恨臣，乃当日以臣为忠，更加亲信，即此可察其心矣。”肃宗闻言，不觉泪下道：“卿言是也，朕知误矣，然既往不咎。”李泌道：“臣非咎既往，只愿陛下鉴戒将来。昔天后无端毒杀太子弘，其次子贤恐忧，作黄台瓜词，此中两句云：一摘使瓜好，再摘使瓜稀。今陛下已一摘矣，幸勿再摘。”
此事表过不题。且说肃宗既以广平王为元帅，即欲立为太子。李泌道：“陛下灵武即位，止为军事火急，急须处罚故耳；故立太子，宜请命于上皇，不然后代何由知陛下不得已之心乎？”广平王亦固辞道：“陛下尚未奉晨昏，臣何敢当储副？”肃宗是以停息建储之事。建宁王私语李泌道：“我兄弟俱为李辅国、张良娣所忌，二人表里为恶，我当早除此害。”李泌道：“此非臣子所愿闻，且置之勿论。”建宁不听，屡于肃宗前，直言二人很多罪过。二人乃相互谗谮，诬建宁欲暗害广平，急夺储位，激愤肃宗，当即传旨，赐建宁王死。李泌欲谏阻，已无及矣。可惜一个贤主，被谗死亡。想肃宗居东宫时，为李林甫所忌，受尽惊骇，岂不知戒；今巨寇未灭，先杀一贤子，何忍心昧理至此！先人有诗叹云：
“方若行义，圆若用智，动若骋才，静若对劲。”
却说肃宗自灵武即位后，即令郭子仪为武部尚书，灵武长史李光弼为户部尚书北都留守并同平章事；又特遣使征召李泌。那李泌字长源，京兆人氏，生而颖异，身有仙骨。幼经常闻空中有仙乐来相迎，其身飘飘欲举，家人共相抱持。厥后每闻音乐，家人即捣蒜向空倾泻，自此音乐渐绝。至七岁，便能吟诗作赋，更聪明非常。
上皇厚加赐赍，命于翰林院读书；及长，欲授以官职，李泌再三推却，乃赐与太子为布衣交，太子甚相敬爱。李林甫、杨国忠都忌之，李泌因遂告归，隐居颍阳。至是肃宗思怀旧友，遣使征至行在，待以宾礼，出则联骑，寝则对榻，事无大小，皆与商酌；欲命为右相，李泌固辞，只以白衣随驾。