清康熙年间，浙西淳安县有个秀才姓柳名文瑾，字怀瑜。此人年方廿二，生得眉目清朗，仪态俊雅，只是家境贫寒，父母早亡，唯留城外祖宅一座，薄田三亩。这柳生虽才学出众，却屡试不第，平日只以卖字画、授蒙童为生，日子过得清苦。
这年深秋，连阴雨下了半月，柳生家中米缸见底，纸墨亦将用尽。眼看明日便要断炊，只得冒雨往城中寻旧友周济。行至城南古桥，忽见桥墩下蜷缩一老妪，衣衫褴褛，面如金纸，已是气息奄奄。柳生心中不忍，虽自身难保，仍将老妪扶至桥洞避雨，又解下外衫为其披上。
老妪颤巍巍自怀中取出一物，用破布层层包裹，递与柳生道：“老身姓白，原在城中苏府为佣。因年老体衰被逐出，无家可归。此物乃先人所传，愿赠恩公，或可换些银钱。”柳生推辞不过，打开看时，却是个三寸见方的白玉枕，触手温润，雕工精妙，枕面刻并蒂莲纹，隐隐有暗香浮动。
柳生携玉枕归家，当夜饥肠辘辘，难以入眠。辗转反侧间，忽闻幽香阵阵，竟昏沉睡去。朦胧中见一白衣女子翩然而至，明眸皓齿，云鬓花颜，对他敛衽施礼：“妾乃玉枕之灵，名唤芷兰。感君高义，特来相谢。”言毕，纤指轻点，桌上忽现热粥小菜。柳生饥不可耐，饱餐一顿，醒来竟真觉腹中充实，且屋内余香未散。
自此，柳生每夜枕玉而眠，必与芷兰梦中相会。芷兰通晓古今，常指点文章奥义，柳生学问大进。更奇者，白日家中米缸常自动盈满，旧衣无故焕新。柳生知是芷兰暗中相助，感激之余，渐生情愫。
三月后恰逢乡试，柳生依芷兰所教应试，果中解元。捷报传来，四邻震动。城里富绅李员外闻讯，特设宴相邀。席间见柳生气度不凡，便欲将独女玉娥许配。柳生婉拒道：“晚生已心有所属。”李员外不悦：“莫非是嫌小女丑陋？”柳生只得将玉枕奇遇略述一二。
谁知隔墙有耳，这番话被李家师爷赵四听去。这赵四早年做过盗墓勾当，最是奸猾，闻知玉枕神奇，顿起贪念。当夜便买通盗匪，趁柳生赴文会时潜入其宅，将玉枕盗去。
李员外得玉枕，试枕之，果见芷兰现身。竟起邪心，欲强留为妾。芷兰怒斥：“吾乃昆仑山玉精，感柳郎善心暂现形迹，岂容俗子亵渎！”言毕化青烟而逝。李员外惊惧，觉玉枕顿失温润，变得冰冷刺骨，急命人弃于后园枯井。
柳生失枕，如失魂魄，连访三日无果。这夜忽梦芷兰泣告：“妾被困李家枯井，井口有符咒镇压。郎君若念情分，可于明日午时往救。切记携雄鸡血一盅，破符后速将玉枕置阳光下曝晒，否则妾将魂飞魄散。”柳生惊醒，不及细想，连夜准备。
次日午时，柳生假作贺寿，混入李府。趁众人饮宴，潜至后园，果见枯井贴黄符数张。柳生泼出鸡血，符咒立化黑烟。急忙取回玉枕，置阳光下。只见玉枕渐透红光，忽闻轻微碎裂声，一道白气冲天而起，芷兰现身，却面色苍白。
原来芷兰本是真君座前玉女，因私动凡心被贬入玉枕思过。此番为破符咒耗尽元气，需归昆仑修炼。临别泣道：“妾与君尘缘已尽，惟愿君善自珍重。来年若逢大旱，可开吾所赠锦囊。”言毕消散无踪，玉枕亦裂为数块。
柳生悲痛欲绝，将碎玉收入锦囊贴身收藏。次年浙西果逢百年大旱，河床龟裂，禾苗枯焦。柳生忽忆芷兰之言，开锦囊见帛书写道：“城西三十里白石山，有古碑倒卧。移碑三尺，可得甘泉。”柳生急报知县，初不信，柳生以性命担保，方允一试。
果移碑见清泉喷涌，解一县之旱。知县欲表其功，柳生辞而不受，只求在泉边结庐而居。众人皆赞其德，唯那道泉被称作“玉女泉”。
柳生自此隐居泉畔，日夜对泉读书。某日忽有京城御史巡察至此，闻泉边诵书声清越，循声见茅屋一间，柳生正教村童识字。御史感其才德，荐入国子监。临行前夜，柳生梦芷兰来贺：“君前程远大，惟需谨记：遇林莫入，遇桥莫宿，遇舟莫乘。”
柳生入京后苦读三年，殿试高中探花，授翰林院编修。时值宰相傅文龙寿诞，广邀朝臣。柳生本不欲往，奈何同僚强拉赴宴。席间宰相见其气宇轩昂，欲招为婿。柳生仍以“心中有人”推辞，宰相不悦。