两天晚上绛雪没有来。黄生去抱着耐冬树，摇动抚摸，不停地呼吸绛雪，但是没有回声。黄生于是回到屋里，对着灯搓艾草，要去烤树。绛雪突然走进来，夺过艾草扔在一边，说：“你胡闹，要把我烧伤呀！再这样就和你绝交了！”黄生笑着拥抱她。还没有坐稳，香玉轻盈地走进来。黄生看见她，眼泪一下子淌了下来，急忙起来握住她的手。香玉用另一只手握住绛雪，三个人相对悲泣。等坐下后，黄生握着她的那只手感觉空虚，就像自己握着拳一样，便吃惊地问她这是怎么回事。香玉流着泪说：“从前我是花的神，所以形固；如今我是花的鬼，所以形虚。现在我们虽然相聚，不要以为是真的，只可以当做睡梦中相见罢了。”绛雪说：“妹妹来了，太好了！我被你家男子纠缠死了。”于是她告别走了。
香玉还像从前一样地欢喜谈笑，但是两人偎在一起的时候，黄生感到空荡荡的，好像只靠着一个影子。他闷闷不乐，香玉也唉声叹气地怨恨自己。她便说：“你用白蔹草的药末，少加点硫磺兑水，每天给我洒上一杯，明年今日就可以报答你的恩情了。”于是告别而去。
第二天，黄生到花坑去看，白牡丹又发出芽来了。他便按照香玉的话每天加紧培灌，又做了栅栏来保护她。
香玉来了，非常感激黄生。黄生打算把她移植到自己家里。香玉不同意，她说：“我体质很弱，受不了再次被戕害。况且任何东西生长都各有一定的地方，我这次来原就不打算生在你家，违背了天意反而会减寿。只要你怜爱我，将来我们自然有合好的一天。”黄生埋怨绛雪不常来。香玉说：“一定要让她来的话，我倒有办法。”香玉便和黄生挑着灯来到耐冬树下，她摘了一根草，用手量量做成一把尺子，又用这把尺来量树干，从下往上，到四尺六寸，用手按住那个地方，叫黄生用两只手一齐去挠。一会儿，绛雪从背后出来，笑着骂道：“这丫头来助纣为虐呀！”于是互相拉着手，一起进到屋里。香玉说：“姐姐不要见怪！暂时劳你陪侍黄郎，一年以后就不再打扰你了。”从此便习以为常。
黄生看那花芽，一天比一天长得肥壮茂盛，春天过去了，长到二尺多高。黄生回家后，留下银子给道士，嘱咐他早晚好好培育那花。
到了第二年四月，黄生来到庙里，看见长出一朵花，含苞未放。正当黄生在花前流连忘返的时候，那花蕾摇晃着似乎要开，果然不一会儿就开放了，像盘子那么大，好像有个小美人坐在花蕊中间，才三四指那么高，转眼间飘飘然下来，就是香玉。她笑着说：“我忍受着风雨来等待你，你为什么来得这么晚？”于是双双走进屋里。这时，绛雪也来了，笑着说：“天天代替别人做妻子，现在总算有幸退为朋友了。”接着摆上酒宴谈笑。到了半夜，绛雪便走了。黄生、香玉二人睡下，和从前一样欢愉融洽。
后来，黄生的妻子死了，于是黄生就入山不再回家了。这时，牡丹已长得像手臂那么粗了。黄生常常指着牡丹说：“我死后一定把魂魄寄托在这里，长在你的身旁。”香玉、绛雪微笑着说：“你不要忘记自己的话。”
十多年以后，黄生忽然得了重病。他的儿子来了，对着他悲哀哭泣。他笑着说：“这是我生的日子，不是死的日子，为什么要悲哀呢？”他对道士说：“将来牡丹下面会有一株红色的花芽怒放，长出五片叶子，那就是我。”于是不再说话。儿子用车把他拉回家就死了。
第二年，果然在牡丹下面有个粗壮的芽长出来，叶子正如黄生所说的五片。道士觉得很奇怪，更加注意浇灌它。三年后，长到几尺高，有两只手合围那么粗，但是不开花。老道士死后，他的徒弟不知道爱惜，竟把它砍掉了。之后，白牡丹也逐渐枯死。不久，耐冬也枯死了。
异史氏说：“感情达到了极点，鬼神可以相通。香玉死后为‘花之鬼’仍相从黄生，而黄生死后魂依香玉之侧，这不是结成了深厚感情吗？黄生死后变成不开花牡丹，被小道士砍去，牡丹和耐冬相继殉情而死，即使不是坚贞，也是为情而死。人不能操守，也是其感情不深厚。孔子读了‘康棣之花’这首诗说道：如有至情，就能坚贞相爱。相信了！
乐仲
乐仲是西安人。父亲早死，母亲遗腹生下他。母亲信佛，不吃荤不喝酒。乐仲长大后，好酒贪吃。他心里暗暗埋怨母亲，每每劝母亲吃肉食，母亲呵斥他。后来母亲得病，垂危时，极想吃肉。乐仲急忙中没办法弄到肉，便割左股肉进献母亲。母亲病略好转，悔恨破戒，绝食死去。
乐仲更加悲痛，又用锋利刀子割右股的肉，割得现出骨头。家里人一同抢救，敷药包扎，不久就好了。他心里想到母亲苦苦守节，又哀痛母亲愚蠢不吃肉，便焚烧所供的佛像，立下牌位祭祀母亲，喝醉后对着牌位哀哭。二十岁才娶媳妇，仍是童身。娶妻三天，对人说：“男女同居，是天下最污秽的事，我确实不觉得快乐！”便休了妻子。岳丈顾文渊，拜托亲戚想挽回，再三求情，乐仲还是不同意。过了半年，顾便让女儿改嫁了。
乐仲鳏居二十年，行为更加放荡。奴仆戏子都混在一起喝酒，同乡人乞求什么便给什么。有个人说嫁女没有锅，他端起灶上的锅送给他，自己就向邻居借锅做饭。几个品性不好的人知道他的性情，每天都来哄骗他。有人借口赌博输光了钱，故意对他哭泣，说追账的很急，准备卖掉儿子。乐仲如数拿出缴租税的钱，全给了人家。等到催租税的官吏登门，便典当物产筹措。因此，家境日益衰落。原先乐仲富裕时，同堂子弟争相侍奉，家里的东西任他们拿取，也不计较；等到乐仲困窘时，来看望他的极少，乐仲旷达毫不在意。碰上母亲去世日，乐仲恰好生病，不能上坟，想叫子弟代为祭祀，各个子弟都借故推辞。乐仲便在家中用酒祭奠，对着灵牌痛哭。于是，没有后代的悲哀，涌上心头，因而病情越加严重。他昏迷中觉得有人抚摸，微微张开眼，一看正是母亲。他吃惊地问：“母亲怎么来了？”母亲回答：“因为家里没人上坟，便回家来享用，并看看你的病。”乐仲问：“母亲一直住在哪里？”母亲答道：“南海。”抚摸完后，遍体清凉。清醒后睁眼四周一看，渺茫不见一人，病却好了。
病好起床后，乐仲想到南海去朝拜。正好邻村有人结集香社，他就卖掉十亩田，带着钱请入社。结香社的人嫌他不洁净，共同拒绝他。他跟从一起前往。路途中，他不戒酒肉荤腥，大家更厌恶他，趁他喝醉睡觉时，便悄悄走了。乐仲只得独行。走到福建，遇见友人请他喝酒，有个名妓琼华在座。乐仲恰好谈到要朝南海去，琼华愿意跟随他。乐仲很高兴，等整好行装，便一同出发。他们虽然吃睡在一起，但没半点私情。等到了南海，香社中人看见他带着妓女来，更加非难讥笑他、鄙视他，不和他同拜。乐仲和琼华知道他们的意思，就等他们先拜，他俩后拜。大家拜时，没见到什么灵异，很觉遗憾。等到他俩拜时，刚跪在地上，忽然见遍海都是莲花，花上有仙女挂着珍珠串成的璎珞。琼华一看花朵上是菩萨，乐仲一看花朵上都是他母亲。他便急忙呼喊着奔向母亲，跳上去跟从着。大家只见万朵莲花，都变成彩霞，遮掩海面如同锦缎。过会儿云静波平，一切都消失，乐仲却仍旧站在海岸，也不知道自己是怎么从海里出来的，衣服鞋子并没沾湿。他望着海面痛哭，声音响彻岛屿。琼华挽住并劝说他，凄然离开庙宇，租船向北渡海。途中有富豪人家招走了琼华，乐仲独自歇息在旅馆里。
有个八九岁的儿童，在店中乞讨，样子不像乞丐。仔细盘问，是被继母赶出来的，乐仲心里很同情他。那儿童紧紧依偎他。哀求他拯救。乐仲便带着儿童一同回家。问儿童姓名，回答说：“名叫阿辛，姓雍，母亲是顾氏。曾经听母亲说过：嫁到雍家六个月，便生下我，我本姓乐。”乐仲大吃一惊，自认为生平一度，不应该有儿子。就问姓乐的住在哪里。儿童回答：“不知道。但母亲去世时，交给我一封信，嘱咐我不要丢失。”乐仲忙要信来看。一看，就是当年和顾氏的离婚书。他吃惊地说：“真是我的儿子！”验看日期准确无误，颇合自己心愿。但他不会理家，家道日趋衰落。过了两年，田产慢慢耗尽，竟然养不起仆人。