宋高宗有两任皇后，第一任为宪节皇后邢秉懿，康王妃；第二任宪圣慈烈皇后吴氏。第一任皇后并不是举行仪式册封的，当时赵构出使金国，还在路上，将妻小都留在藩邸。

后不久，金兵攻破东京汴梁，邢秉懿和两位侧室田春罗、姜醉媚以及康王的五个女儿被金人掳走，当时邢秉懿已有身孕。起初一行人北行不久，便传出几位皇室女子相继坠马流产，其中包括郓王妃朱凤英、康王妃邢秉懿、洵德帝姬赵富金、柔福帝姬赵嬛嬛。这估计是金兵故意而为之，都成俘虏了，还留什么孩子。当时赵构还没有儿子，只有五个女儿，也一并被抓着北迁。一个三岁的女儿和两个二岁的女儿，都死在北迁的途中，年岁太小，加之磨难，早夭。还剩下两个四岁的女儿，北迁至金国之后，合着众皇室女子一并投入浣衣院（金人官营妓院）！！！

赵构的子嗣并不繁盛，或许是对于他昔日所作所为、一味逃避求和的报应，五个女儿，三个早夭，两个被投入浣衣院，生死未知，仅有的一个亲生儿子赵旉，为潘贤妃所出，结果在三岁的时候就早夭，之后，后宫无所出。当时苗刘兵变，控制赵构，扶持赵旉登基即位，改元明授，从即位到退位共计26天。后因宫女保姆疏忽，受惊吓而死，赵旉就是这样早夭的，这么小就做了皇帝，可惜估计还不知道自己干了什么大事，就被吓死了。

赵构迫于朝中对皇室开枝散叶的希冀，收养了两个儿子，养子赵伯琮也就是赵昚（shn），名伯琮，后改名瑗，赐名玮，字元永，宋太祖七世孙，后为宋孝宗，养母张贤妃。养子赵伯玖，被收养后更名赵琢，养母吴皇后。按道理说，当时吴氏是皇后，赵琢也长得颇有帝王福相，继承皇位的几率有八成。但是，耐不住赵构不按常理出牌，他给自己的两个养子各自送去10个美女，过了一段时间又全部召回来，然后让女官去检验，结果发现给赵琢的那10个已经都不是处女了，赵昚的则完全相反，那些全是完璧之身，由此一事，确立了赵昚的皇太子地位，赵琢因为好色，失去了本该十拿九稳的位置，虽然赵构行事风格有些荒唐，但不可否认的是他选择了一个优秀的继承人。