高力士进谗议雅调词曰：
且说玄宗敬爱李白，欲赐以金帛珍玩，又欲重加官职。李白俱推却不受道：“臣平生但愿清闲闲散，供奉摆布，如东方朔事汉之故事；且愿日得美酒痛饮足矣！”玄宗乃下诏光禄寺，日授予上方佳酿，不拘以职业，听其到处旅游，喝酒赋诗；又经常召入内庭，赏花赐宴。是时宫中最严峻芍药花，是扬州所贡。即今之牡丹也，有大红、深紫、淡黄、浅红、通白，各色各种，都植于兴庆池东，沉香亭下。时价清和之候，此花盛开，玄宗命内侍设席于亭中，同杨贵妃赏玩。杨贵妃看了花说道：“此花乃花中之王，正宜为天子所赏。”玄宗笑说道：“花虽好而不能言，不如妃子之为解语花也。”正谈笑间，只见乐工李龟年，引着梨园中一班新选的一十六色后辈，各执乐器，前来承应，叩拜毕，便待皇上同贵妃娘娘喝酒命下，吹打唱曲。玄宗道：“且住，本日对妃子赏名花，岂可复用旧乐耶！”即着李龟年：“将朕所乘玉花骢马，速往宣召李白学士前来，作一番新词庆赏。”
龟年奉旨飞走，赶紧出宫，牵了玉花骢马，本身也骑了马，又同着几个火伴，一向走到翰林院衙门里来，宣召李白学士。只见翰林院中人役回说道：“李学士已于本日凌晨，微服出院，独往长安市上酒坊里吃酒去了。”李龟年因而便叫院中当差人役，立即拿了李白学士的冠袍玉带像笏，一同寻至市中，四周找寻；很多时候，忽听得前街一座酒楼上，有人大声狂歌道：
雅调清平，一字令媛值。凭屈抑，醉乡酣适，繁华真何必？
自此杨妃每于玄宗面前，说李白纵酒狂歌，放浪难羁，无人臣礼；玄宗多次欲升擢其官，都为杨妃所阻。杨国忠亦以磨墨为耻，也常进谗言。玄宗虽极爱李白，却因宫中不喜他，遂不召他内宴，亦不过夜殿中。李白明知为小人诽谤，便即上疏乞休。玄宗那边就肯放他归去，温旨慰谕了一番，不允所请。李白自此今后，乃益发疯饮放歌。正所谓：
玄宗览毕，大喜说道：“诏语堂皇，足夺远人之魄。”及取副封一看，咄咄称奇。本来那笔迹与他来书无异，一字不识，传与众官看了，无不骇然。玄宗道：“学士可宣示番邦使官听罢，然后用了大宝入函。”遂命高力士仍与李白换了双靴。李白下殿，呼番使听诏，将圣旨朗宣一遍。其诏曰：
解释东风无穷恨，沉香亭北倚雕栏。
贺知章且往馆驿陪侍番使，更不提起番书之事；至晚回家，郁郁不乐。当时李太白正居住贺家，见贺知章迷惑不乐，当即问其原因。知章因把上项事情，述了一遍道：“现在钦限严迫，孔殷得很，怎生回奏；如有能识此字者，不问多么人，保举上去，便可消释上怒。”太白传闻此，微浅笑道：“番字亦何难识，惜我不得为朝臣，躬逢一见此书耳。”知章欣喜说道：“太白果能辨识番书，我当即奏上闻。”太白笑而不答。次日早朝，知章出班启奏说道：“臣有一布衣之交，西蜀人士，姓李名白，博学多才，能辨识番书，乞陛下召来，以书示之。”玄宗准奏，遣内侍至贺家，立召李白见驾。李白即对天使拜辞道：“臣乃远方贱士，学问浅薄，以是笔墨且不敷以入朝贵之目，何能仰对天子乎？谬蒙宠命，不敢奉诏。”内侍以此言回奏。知章复启奏道：“臣知此人文章盖世，学问惊人，诸子百家，无书不觉；只因客岁入试，被外场官抹落卷子，不与录送，故未得一第，今以布衣入朝，心殊忸捏，以是不即应召故也。乞陛下特恩，赐以冠带，更使一朝臣往宣，乃见圣主求贤下士之至意。”杨国忠与高力士听了，方欲进些谗言禁止，只见汝阳王琎、左相李适之、京兆尹吴筠、集贤院待制杜甫，一齐同声启奏道：“李白奇才，臣等知之稔矣，乞陛下速召勿疑。”