李群玉解去天禄的职务后，回归涔阳，经过二妃庙，题诗二首：“小孤洲的北面浦云边上，二妃的装束还像从前一样完好。寂寂春色中荒凉的古庙对着长江，萋萋荒草里只有一无字的古老碑碣。春风吹拂墓地芳草，夕阳落入深山，杜鹃声声啼哭。仍像皱眉望着舜帝出巡青青的九疑山就在湘水那边。”又写道：“黄陵庙前面的莎草欣欣向荣，黄陵女儿红裙崭新。轻舟小桨随歌远去，山水遥远愁坏了人。”以后又题诗：“黄陵庙前春天已去了，子规在松风中悲啼至流出血来，不知道魂灵落在哪里，好似在秋天的行云之中。”李群玉自认为第二篇，春去很快到了秋来有些不妥，犹豫着想改一改。眼前便出现了两个女郎，她们说：“我们是娥皇、女英，两年以后，会和你有一番男女交往。”李群玉就记住她们说的话。一会儿两个身影消失了。于是李群玉对着神像施礼后也走了。重新度过湖岭，到达浔阳。太守段成式一向和李群玉是作诗饮酒的朋友，李群玉就详细说了这件事。段成式于是开玩笑说：“想不到你还是虞舜的辟阳侯。”李群玉题诗后二年，就死在洪州。段成式就写诗哭悼他的朋友：“饮酒作诗三十年，纵横纷乱世上喧闹。醒时不要像弥衡那样死去，笑傲所有的公侯而后命归九泉。”又说：“再话黄陵往事，都被光阴催走，到老没有儿女之累，谁去哭送他呢？”
澧县城出南门，顺澧水河往东走五华里的二圣滩上，有一座八方七层，十多丈高的石塔，那就是有名的澧州蜚云塔。这塔做工精巧，样子吓人子漂亮，每一层都雕着蛮多石多汉，哭的闹的喊的叫的，各种样子都有，简直跟活人差不多。见过这塔的人，都说它为澧州增添了风采。
提起蜚云塔，人们都说它和唐朝大诗人吏部尚书李群玉有关系。
李群玉是澧州城里的人。他自幼好学，聪明过人。城南的仙眠洲和伏牛山，都是他读过书、习过文的地方。后来他当了大官，也不忘记家乡父老。有一年，澧州遭了大水，坏了年成。老百姓吃不饱穿不暖不屑说，一想起年年要交的官税钱粮，个个都急得泪水双流。
李群玉知道了这件事，真是饭也吃不下，觉也睡不着。有一天，皇上出京巡查，来到澧州。他忽然想出一个巧妙办法，悄悄地钻进厕所里，用蜜粮写下了“湖南澧州钱粮可免。”八个大字。没过多久，成千上万的苍蝇闻到蜜糖味，在那八个字上歇满了。碰巧皇上进厕所小便，看见那些苍蝇排成的字样，不觉十分奇怪，随口应道：“湖南澧州，钱粮可免”。哪晓得李群玉在旁边等着，皇上刚念完，他就当圣旨往下传了。皇上呢，坐了好多年位，看见苍蝇排字还是头一回，以为是天老爷的意思，也就答应了。这样，澧州的官税钱粮，就从此免除了。
李群玉告老还乡，死在家乡以后，澧州人都特别想念他，留恋他，特地请来风水先生，要为他选个好葬地，来世也做大官，保佑澧州的百姓。
风水先生看了很多地方，最后吩咐把李群玉葬在澧州城东两里多的澧水河滩上。坟葬好了，
风水先生当着众人念道：“贵人葬滩前，澧州风水现，五里三进士，隔河两状元，还有三斗六长芝麻官哩！”
说来也真奇怪，李群玉安葬的当天晚上，好多人都看见一对金鸭子宝光四射，对着他的坟墓拍翅点头，叫得特别欢。于是，大家就把这滩叫做金鸭滩，都说李群玉葬到了有福脉的风水宝地。
隔不多久，朝中八府巡按白大人要巡视湖南、湖北。这白大人是解元出身，湖北孝感县白家庄人。来湖南以前，先看望过他的母亲。他的母亲要求儿子到澧州后，必须找到李群玉的坟墓，双膝下跪，诚心三拜。白大人搞不明白这是什么原因。他的母亲对他说：“儿呀！没有李群玉，也就没有你。”原来，李群玉十八岁时上京赶考，路经白家庄时，白大人的母亲正是二八芳龄，在家守寡，一心想窃脉传后。这时她暗暗看中了李群玉。李群玉对上京考中是“吃了秤砣——铁了心的”，对男女色情的事不感兴趣，只是提笔写了小小的“过脉”二字，用手递了过去，在寡妇的手心上轻轻地拍了几下。大概是天意的安排，寡妇从此怀孕了，不久生下了白大人。男人不能摸女人手心的话，而今还有人在说呢。
白大人来到澧州，查访了州府民情，没有祭扫李群玉的坟墓，却来到了新修的盘山庙前。还没等他下轿，突然一阵旋涡风平地吹起，卷落了他的轿顶。他下次出轿来，四下观看，只见李群玉坟墓那一方金光四射，亮通通的。当他问明白那就是金鸭滩时，眼前现出了一行行的金字。白大人仔细一看，那些字原来是一首诗：“白大人白了白，白得不明白，虽是白家子，实为李家脉。”这一下，可把白大人惹怒了，他转身察看了澧州地势，连忙下令在李群玉坟墓的上游修理工了一个文良制。并说：“修起文良制，治死金鸭滩。”自此，水流迂回，金鸭滩也逐渐消失。澧州人民的日子也一天也一天地苦起来了。
为了让老百姓再过上好日子，安居乐业，澧州人时刻都想恢复澧州的风水。到了明朝末年，有人出了一个主意，提出要修宝塔，镇河妖，截住澧州风水。地点就选在金鸭滩下面的二圣滩上。宝塔刚刚只修了三层，就因为老百姓饭都吃不饱停止了。直到清朝时才接着修起来。这座宝塔就是“蜚云塔”。