轻时在宫里当过差，却并不是后世传说中的乳母，而是做过康熙的保姆。
皇家的保姆，可不是大家认为的那种侍候孩子的老妈子，而是又被称为“精奇嬷嬷”的高级看护，是皇子皇女身边的生活总管，算是实际的养母。
从顺治十一年春天进宫当值到康熙四年皇帝大婚这十来年中，孙氏一直担任康熙的“精奇嬷嬷”，与康熙皇帝的感情不亚于亲生母子。因此，在康熙亲政后，才会封孙氏为“奉圣夫人”，一品诰命，并且封了其夫曹玺一等男的爵位。另外，在康熙皇帝两年前的第三次南巡中，就落脚在江宁织造府，因此江宁织造府又被江宁人称为“大行宫”。
曹寅为了不逾越，才避居到西侧院，空了当年迎接圣驾的正房与东边的院子以示恭敬。就是在那次南巡中，康熙为保姆孙氏的住处提了“萱瑞堂”三个大字，并且在陪同的大小官员面前称孙氏为“此乃吾家老人”。或者正是因为在宫里当差的时间太长，与丈夫一直两地分居，孙氏没有自己的亲生儿子。曹寅实际上是曹家的庶出长子，生母早逝，养在孙氏名下，充作嫡子。
曹寅自幼聪颖，十月能言，三岁识字，五岁能文。虽然年纪比康熙小四岁，但的确是进宫做过伴读，十六岁后为御前侍卫，此后一直为天子近臣。直到父亲曹玺老迈，才被派到江宁来接班。先为苏州织造，曹玺去世后接任江宁织造，苏州织造由康熙另一心腹、曹寅的内兄李煦接任。李煦的母亲文氏，最初也做过康熙的保母，只是当值时间没有孙氏这样长。
曹寅娶的第一个妻子是顾氏，是江南大户之女，夫妻很是恩爱，不过子嗣上却艰难，始终未得一儿半女。后顾氏病逝，康熙皇帝指婚，曹寅迎娶了李煦的堂妹李氏为继室。
曹寅迎娶十八岁的李氏时，已经年过三十。新婚第一年，就添了长女曹颜，数年后又生了长子曹顒。因曹顒自幼身体弱，怕养不住，一直没起大名，乳名叫作“连生”。待到前年康熙皇帝南巡时，住在织造府，亲赐了“顒”字为名，并且恩封了“一等轻车都尉”