苏州祖宅经营乔家庶务，或是在家读书，或是出外游历。
直到二十一年前，武宗的孙子玄宗登基之后，当时已经过了而立之年的玄宗膝下并无任何子嗣，而其父世宗的诸皇子皆以为自己将来会有机会继承皇位，其中世宗皇三子徐王二十九岁、皇四子楚王二十七岁、皇六子贺王二十七岁、皇七子曹王二十四岁、皇十子庄郡王二十一岁、皇十一子淮王二十一岁、皇十三子鲁郡王十五岁、皇十六子慎郡王十三岁。
徐王和曹王乃是世宗宠妃玉贵妃李氏所出，玉贵妃的父亲乃是当时的内阁首辅李阁老；楚王生母是世宗郭宸妃，其母族乃是荆州大族颖安侯郭家；贺王、庄郡王和慎郡王则是世宗云妃赵氏所出，赵云妃出身卑微、曾是世宗**的一名舞姬，后得帝幸、十几年圣宠不衰、连诞三子，其中贺王嫡妃出身魏国公方家、庄郡王嫡妃出身景南侯徐家、慎郡王嫡妃出身清远侯江家，三王妃皆出身显贵。
而淮王和鲁郡王的生母则是世宗康贵嫔孔氏，孔氏出身京城落魄官宦之家，其父只是京城一个不起眼的六品小官，孔氏当初参加选秀被选入**，一开始不过是居住在永巷内的一名低等嫔妃，后来是世宗淑妃谢氏为分宠于玉贵妃和赵云妃，方提携孔氏得了圣宠，孔氏诞下淮王后晋为孔德仪、因品级较低不能抚养子嗣，谢淑妃便成了淮王的养母。没过几年，谢淑妃去世，孔氏又诞下了鲁郡王，晋为康贵嫔。康贵嫔因育有二子，为了能在**中保住孩子，所以为人低调谨慎，对上敬重世宗皇后，对下谦和，因此倒是带着两个儿子平安的活到了世宗驾崩。
而孔氏娘家在玄宗登基时已经彻底败落，父亲去世之后、家中又没有兄弟，只有一个姐姐早年嫁给了皖州清流之家薛家的庶子薛子明。
薛子明于世宗时得中二甲进士，之后考中了庶吉士，留在了翰林院、在行人司观政；三年之后散馆，就外放到了滇州做了一个偏僻小县的知县。
薛子明未中进士、在国子监读书时，曾经恩师介绍，娶了康贵嫔的姐姐为妻。之后带着妻儿