崇祯末年，大明王朝风雨飘摇，22岁的侯方域到南京应试，当时他的文名已经很盛，又是世家子弟，积极参加复社的活动，与陈贞慧等人被誉为“匡扶天下正义”的四公子，年纪轻轻，便名满天下。那一年，李香君正当十六岁花季妙龄，她坐在绣帘挂落的花格窗前，遥望着秦淮河，等待她梦中的爱情。当侯方域出现在她的面前时，她感觉到了她所期待的姻缘已经来临。两人一见钟情，很快就互定终身，侯方域把家传的宫扇作为定情物赠给香君。后来，他们因为坚持自己的操守而历经磨难，这把扇子成为见证。这本应是一段才子佳人式的风花雪月，可惜，随着清兵入关，明朝大厦快速地坍塌。阉党阮大铖拉拢侯方域，被香君严词拒绝。阮怀恨在心，设法迫害，侯方域被迫投奔扬州督师史可法。阮大铖为巴结淮阳督抚田仰，要买香君赠予田仰为妾。香君不从，以头撞桌，昏厥于地，血溅桃花扇。侯方域的好友、知名画家杨龙友为香君爱憎分明的性格和对爱的忠贞深深感动，提笔就斑斑血痕勾勒出几枝桃花，此即“桃花扇”。香君托人把桃花扇送给侯方域，以明心迹。后来依据这段故事，孔尚任写出了著名的剧作《桃花扇》，感动了古今无数的读者和看客。著名作家张爱玲曾感慨地说：“普通人的一生，再好些也是桃花扇，撞破了头，血溅到扇子上，就在这上略加点染，变成一枝桃花。”

    这段故事太有名了，所以侯方域和李香君的爱情结局和个人归宿后来有了很多的“版本”。最凄凉的说法是：李香君独自来到栖霞山下，在一座寂静的道观里出家，后不知所终。最美好的说法是：侯方域和李香君历尽劫难终相逢，两人携手回到归德城，后来白头到老。但在归德古城，侯方域和李香君的结局却另有说法。南京被清兵攻占，李香君与侯方域脱难后，回到归德城侯府。香君更名换姓住在了翡翠楼（又名香君楼），相亲相爱如壮悔堂内今日的塑像。数年后，侯方域再游江南，独自在家的李香君歌伎身份暴露，不为官宦世家的侯府所容，她被赶到城南侯氏庄园，不久郁闷而死，年约30岁。相传侯方域回家后，为香君修墓立碑：“卿含恨而死，夫惭愧终生。”这一年，35岁的侯方域忆起自己的坎坷遭遇，感叹平生可悔者多，于是把自己的书斋更名为“壮悔堂”。两年后，侯方域因郁郁寡欢、心情郁闷而病逝。