先生顷在京时，虽宰执亲王不与扳谈，亦不访问来宾，惟虚静天师至，即开门对话整天终宵。别的则东西皇城使张如晦者，旧在通真宫，出则同业，坐则同席。宗师法教，独张一人得其妙也。既回籍，则同居永嘉。”方志中对林灵素的死记录得很风趣：1119年的中秋这天，对如晦说：“可於扈屿灵官山劚地五尺，见石龟蛇则葬我，葬毕宜遂去。”这夜半夜时分，援笔题曰：四十五年务生，好话薄利峥嵘。要说神仙的路中秋月下半夜。这时风清月白，忽闻要雷声，顿首而化。徽宗天子见遗表，诏守臣治葬。挖地五尺时，果然有石龟蛇呈现。棺木一下塞穴中，就“雷电高文，云雾晦总，失其地点。”随葬的有微宗天子御赐的七宝数珠，雷霆八角印及冠剑。靖康元年钦宗天子派使者来取随葬了的数珠，将要挖开坟，这时“天昏地暗，百怪杂出。
林灵素辞职回温州时，只要弟子张如晦去官随他南下。赵鼎记云：