清咸丰年间，永州府有个叫陈文远的书生，因家道中落，辗转来到零陵县梧桐镇，在一处废弃宅院安顿下来。院子久无人居，唯有一片茂密芭蕉林格外惹眼，那些蕉叶大如蒲扇，遮天蔽日，即便酷暑正午，院内也清凉如水。
陈文远初来乍到，不知当地风俗。一日，他见书房窗外一株老芭蕉叶已枯黄，便请来工匠欲要砍除。工匠闻言色变，连摆手道：“使不得！使不得！这蕉树少说也有十年光景，里头住着灵物呢。要砍，得先备上香烛果品，诚心祷告，请里头的主儿搬了家才行。”
文远听罢嗤笑：“子不语怪力乱神，读书人岂能信这些无稽之谈？”
工匠苦劝无果，宁可不收工钱也不愿动手。文远索性自己取了斧头，三下五除二将枯蕉砍倒。当蕉树倒地时，他似乎听见一声若有若无的叹息，环顾四周却空无一物，只当是风吹过蕉林的声响，不以为意。
是夜，文远正在灯下苦读，忽闻窗外传来女子啜泣声。他推开窗查看，月光下蕉影幢幢，哪有半个人影？如此接连三夜，每至子时便有哭声，扰得他心神不宁。
第四日，邻家老翁来访，见他面色憔悴，问起缘由，文远便将夜间异事相告。老翁听罢连连顿足：“先生定是冒犯了蕉灵！咱们这儿有个说法，三年以上的树木便是灵物居所，砍伐前需焚香告知，给它三日时间搬迁。您这般鲁莽，怕是把里头住着的灵物伤着了。”
文远这才心生忐忑，忙问破解之法。
老翁道：“亡羊补牢，犹未为晚。今夜你备些香烛果品，在砍伐处诚心赔罪，看看能否平息怨气。”
当夜月圆，文远依言备了供品，在蕉树残根前深深作揖：“小生不知此地规矩，冒犯尊灵，还望海涵。”话音刚落，一阵清风拂过，蕉叶沙沙作响，似在回应。
回到书房，他刚坐定，便见一绿衣女子自蕉林中袅袅走出，对他盈盈一拜：“公子不必自责，我本寄居于此蕉，如今蕉树已枯，原也该另觅居所。只是我那孩儿尚幼，受此惊吓，连日啼哭，惊扰公子清梦了。”
文远这才恍然大悟，忙问：“不知夫人与令郎可需相助？”
女子道：“若公子真心相助，请在院中另植一株芭蕉，三日后月圆之夜，我自会搬去。”
文远满口应允。次日便买来一株茁壮蕉苗，细心种下。此后三日，他夜夜都能听见蕉林中似有细碎声响，如人窃窃私语，又如物品搬动。
第三日深夜，文远凭窗望月，忽见蕉林中升起点点萤光，如星河流动，缓缓汇入新植的芭蕉中。那株新蕉竟在月光下以肉眼可见的速度舒展叶片，不过半个时辰，已长得比人还高。
自那以后，院中再无异响。更奇的是，文远夜读时，总觉神思清明，下笔如有神助。某夜他伏案小憩，梦中再见那绿衣女子，她含笑致谢：“蒙公子相助，我母子得以安居。观公子勤勉，特赠蕉叶三片，置于书匣中，可防蛀护书。”
文远醒后查看书匣，果然发现三片碧绿蕉叶，异香扑鼻，经年不腐。
时光荏苒，转眼文远在蕉林旁已住三年。这年夏天，永州大旱，数月无雨，田地龟裂，连院中芭蕉也蔫黄卷叶。里正召集乡民商议，请来道士设坛求雨，却毫无效果。