以后，连续几天绛雪都没有来。黄生思念香玉，展转不眠。一天，冷雨敲窗，黄生披衣而起，在灯下吟诵了一首诗。
一天，他又要去凭吊，远远地瞥见那红衣女子也站在土穴旁抽泣。他渐渐地走畴昔，她也不再遁藏。黄生拉住她的衣衿，两人相对而哭。以后，他请她到书房去，她承诺了。
胶州有一名姓黄的墨客，投止鄙人清宫里读书。一天，黄生读书倦了，凭窗了望，俄然发明花丛中间，明灭着一个年青女子的倩影。他想，这里如何会有女子呢？便疾步走到外边，那女子已没有了踪迹。今后，黄生又多次见到那穿红色衣裙的女子的身影。一次，他躲藏在树丛当中，想等那女子出来。没多久，那白衣女子公然呈现了，还挽着一个身穿红色衣裙的女子，渐渐地向这边走来。这两个女子都是世上罕见的美人。她们垂垂走近了，俄然，那红衣女子退了两步，说：“这里有生人！”黄生蓦地现身，两个女子吃惊地跑开了。她们的衣裙飘起来，披收回浓烈的香气。
及期，卧病不起。源为之迎医，女不欲，曰：“曩固已与君言矣，人缘之契，佳耦之情，尽于此矣。”即以手握源臂，而与之诀曰：“儿以幽阴之质，得事君子，荷蒙不弃，周旋许时。往者一念之私，俱陷不测之祸，但是海枯石烂，此恨难消，地老天荒，此情不泯！今幸得续宿世之好，践往世之盟，三载于兹，志愿已足，请今后辞，毋更觉得念也！”言讫，面壁而卧，呼之不该矣。源大伤恸，为治棺榇而殓之。将葬，怪其柩甚轻，启而视之，唯衣衾钗珥在耳。乃虚葬于北山之麓。源感其情，不复另娶，投灵隐寺削发为僧，终其身云。
一天早晨，香玉神采惨淡，仓促走出去对黄生说：“我们就要长别了。”黄生忙问启事，她只是用衣袖拭泪，说这是定命，不能说出。她哭泣了整夜，天刚亮就走了。黄生非常不解。
香玉欢笑如前，但二人总感觉像是以身就影，黄生非常忧愁，香玉更是悲叹，说：“你把白蔹草挖来晒干碾碎，再稍稍掺一些硫黄，浸泡水中，每天给我浇一杯水，来岁本日我再酬谢你的恩典。”说完就走了。
第二天，黄生去看土穴，牡丹已抽芽了。黄生便遵循香玉的话去做了，每天都用心灌溉，又在牡丹四周做了雕栏来庇护。香玉来了，非常感激。黄生筹算要将她移到家里去，香玉说：“我身材衰弱，再也经不起伤害了。何况万物发展各有必然的处所，我本不是生在你家，硬要违犯反而折寿。只要你我相爱，重聚的日子就快了。”
今后，每当黄生寥寂时，绛雪老是前来。来了二人便宴饮作诗，偶然绛雪并不过夜，黄生也不禁止。黄生常感慨：“香玉是我爱妻，绛雪是我良朋啊。”每次黄生都问她：“你是院中第几株？但愿你早奉告我，我好移到家中，免得你像香玉一样被恶人夺去，遗恨百年。”绛雪说：“故乡难移，奉告你也无益。你的老婆尚且不能从终，何况朋友呢？”黄生不听她的，强拉着绛雪到院子里，每到一棵牡丹旁就问：“这是你吗？”绛雪不答，只是掩口而笑。
黄生回到房间，苦思冥想，俄然那白衣女子排闼出去，黄生非常欣喜，仓猝驱逐。她浅笑着说：“刚才你像个气势汹汹的强盗，让人惊骇；看了你的诗，才晓得你是风雅之士，无妨相见。”黄生扣问女子的平生，她说：“我名叫香玉，是洛阳人。被宫中羽士逼迫来这里，这并非我的欲望。”黄生问：“那羽士叫甚么？我必然为你解忧。”女子说：“不必了，他也不敢逼迫我做甚么。如果在这里能够耐久和你幽会，也好啊！”黄生又问那红衣女子，她说：“她是我的干姐姐，名叫绛雪。”二情面义缠绵，不觉天已大亮。香玉站起来吟了一首诗，就要告别。