话说正德年间，扬州府有个盐商子弟姓莫名聪，表字慧卿。生得面如傅粉，唇若涂朱，自小聪颖过人，十五岁便进学成了秀才。父亲莫广财中年得子，爱如珍宝，专请了西席教授举业。谁知这莫聪虽才高八斗，却偏厌时文，专爱看些杂剧话本，更与江湖术士学习丹青之术。
这年重阳，莫聪与同窗游平山堂。见个白发老翁摆摊卖画，中有一幅《璇玑图》，用五色丝线绣成八百余字，纵横反复皆成诗句。莫聪爱不释手，老翁道：“此乃前朝苏若兰真迹，与公子有缘，只需三钱银子。”同窗皆笑老翁癫狂，莫聪却如数付钱。老翁临别赠言：“璇玑暗藏天机，遇火方显真意。”
当夜莫聪在书房赏玩，烛火误坠绣品。急扑灭时，见焦处显出朱砂小字：“嘉靖壬寅，三塔寺东。”正惊疑间，那焦痕竟自行蔓延，织成新图——却是扬州城廓，城西标着红点。次日携仆往视，竟掘出紫檀匣子，内贮羊皮卷，绘着海外诸国航道图，并番文注记。
时有葡萄牙商船泊于瓜洲，通译见图骇然：“此乃葡国亲王秘藏海图，正德年间沉船所失！”总督闻奏，呈报京师。嘉靖帝大喜，赏莫聪五品虚衔，准其随使团出洋。莫广财惊忧交加，怎奈圣命难违，只得娶了表妹林氏与儿子冲喜，即日成婚。
三月后使船发漳州，遇飓风漂至暹罗。莫聪于王宫宴间展现画艺，为国王绘《四海朝贡图》。适逢缅甸来袭，莫聪依海图指引，献计走水路奇袭。暹罗军大胜，国王以公主赐婚，莫聪泣诉已有妻室。国王怒，囚之水牢。
却说林氏在家，夜梦丈夫披枷戴锁。晨起告翁姑，莫广财只道思念所致。忽有游方僧叩门化缘，见林氏面有忧色，道：“施主眉间晦纹，当主夫妻阻隔。老衲有珊瑚数珠，可焚香祝之。”林氏依言，每夜焚珠一粒。至第七夜，满室异香中现出莫聪影像，正于铁窗望月长叹。
林氏痛哭不已，竟变卖钗环欲往南洋。婢女春桃谏道：“少奶奶金枝玉叶，怎经得风浪？不如求签问卜。”遂往大明寺拜佛。方丈了缘禅师见林氏虔诚，道：“女施主可识得璇玑图否？”林氏惊答乃夫君之物。禅师颔首：“老衲师兄了尘昔年云游暹罗，今为皇家国师。老衲修书一封，或可相助。”
林氏携书南下，至广州遇番舶。船长见女子独行拒载，忽有官员赶来：“可是莫宜人？今上特旨命下官护送你往暹罗。”原来嘉靖帝得报莫聪被困，念其献图之功，特遣锦衣卫暗助。
及至暹罗，了尘国师已圆寂七日。遗书国王：“大明星使厄满，当释之。”国王仍不允。是夜宫中闹鬼，称莫聪乃文曲星下凡，囚之将致国祸。国王惧，释莫聪却扣其画具。夫妇重逢，抱头痛哭。归国途中船队遇盗，莫聪以炭笔画浪形，竟现真实巨浪击退贼船。众始知其画艺通神。
归扬州后，莫聪闭门作画。三月绘就《万里海疆图》，进献朝廷。嘉靖帝展卷惊叹，见波涛涌动似闻潮声，海鸟欲出画屏，立赐“丹青圣手”金匾。时值倭患，总督胡宗宪依图中海流用兵，大破徐海于舟山。莫聪竟得军功，授杭州同知。
赴任途中，于西湖遇老翁垂钓。识得正是卖璇玑图者！老翁笑曰：“公子可知？那海图实乃令祖莫怀仁所藏。昔年令祖为泉州市舶使，救过葡国亲王，得赠此图。后因党争辞官，埋图三塔寺。”莫聪方悟世代因果。
在杭城任上，莫聪断案如神。有绸商诉伙计盗银，莫聪令众人执笔写字，观其墨迹断出真盗——原那伙计写字时墨中掺醋，与账房遗留盗契墨迹相同。又富户争产，莫聪命两子分绘亡父肖像，幼子所画耳后有痣，遂得识真孝子。满城传为“神笔判官”。
忽一日，有京官来谒。乃是严世蕃心腹，索要《海疆图》真迹。莫聪婉拒，竟被罗织罪名下狱。林氏再次南奔求救，幸遇旧日暹罗公主——已嫁满剌加国王为妃。王妃修书严府，称莫聪为暹罗驸马。严党惧挑起边衅，只得放人。
莫聪看破官场，辞官归里。重修三塔寺时，于地基得铁函。内藏祖父手书：“吾藏海图，待有缘子孙。然宦海风波恶，愿后人莫仕。”莫聪大恸，自此绝意功名，专以教画为生。弟子中多有成才者，竟成“扬州画派”开山之祖。
林氏寿至八十无疾而终。殡葬之日，突有双鹤绕棺，其中一鹤翅缘竟带丹青之色。送葬者皆言乃莫聪精魂所化——原来三日前莫聪作《跨鹤图》毕，掷笔而逝。夫妻合葬之日，坟头生出并蒂灵芝，经冬不凋。有诗赞云：