吳靖出生在天津吳家大院（1910年），兄弟姐妹共九人，那時雖然她的祖父已經從彙豐銀行買辦的職位上退休，而她父親吳熙元的生意還很紅火，辛亥革命對這個鍾鳴鼎食之家並無大礙，因為北洋政府里基本還是清廷舊僚的天下，他們與吳家不是親戚就是朋友。
當時她的外公嚴筱舫已經過世，她外婆仍住在上海虹口的大宅院里，因為身邊沒有小孩子，很寂寞，很想要一個孩子來做做伴兒。正好吳熙元、嚴淑英夫婦有一群孩子，正為孩子太多煩得要死，夫妻倆為管孩子還常鬧點矛盾，能送走一個正求之不得。揀來揀去，就把老二吳靖送去了。一來因為吳靖最老實聽話，不會給老人惹麻煩；同時還因為，老大是第一個孩子，父母寶貝的，不肯送走的，其他的年齡還太小……而吳靖當時已經三歲了，不大不小，所以似乎是命中注定的，她應當到外婆家去。
于是，三歲的吳靖來到上海外婆家，住在虹口的塘沽路（那時叫文監師路）的一條大弄堂里。那弄堂只住了三戶人家，數嚴家的房子最大，有前廳後廳，前院後院，有專門祭祖的廳堂，也有專門給孩子們玩的地方……吳靖在外婆家過得很開心，因為表哥表姐們都已長大了，有的已經成了家，家中多年沒見小毛頭了，突然來了一個漂亮的小妹妹，大家都拿她當寶貝，要什麼給什麼，樣樣都很自在。她到上海後的第二年，大表哥嚴智多家生了一個小妹妹，叫嚴仁美，從此她跟這個比她只小三歲的外甥女，成了最要好的童年伙伴，她們整天在外婆身邊轉來轉去，是老外婆的心頭肉。