三歲來到上海外婆家
吳靖的祖父一輩子與洋人打交道，深知洋學堂的重要，把兒子一個個都送出國留學。唯獨吳靖的父親吳熙元（號吉臣，排行老三）沒有出國，一生都在天津，打理吳家的產業天津硝皮廠。據說是因為他19歲結婚後，一年生一個孩子，共生了九個孩子（還不算中間夭折的）。孩子多，奶媽、傭人就更多，拉拉雜雜一大群人，要出國，實在帶不動這麼龐大的家眷隊伍，干脆就不出國了，就守著家業過也覺得不錯。
吳靖的父親掌管的這個天津硝皮廠，表面看來是個民間制皮企業，其實是個跟官府有密切聯系的行當。北方天冷，皮貨本來銷量就大，加上那時軍隊也有穿皮軍裝的，尤其是騎兵，馬靴馬鞍都是皮質的，吳家的生意就只愁做不完了。所以這家工廠在1898年創辦的時候，資本就達76.9萬元，機器均購自英國，技師也是聘請的英國人，常年雇傭工人五六百人，活兒忙的時候工人達一千余人。產品的銷路，最初大部分是供應袁世凱的新建陸軍所需軍裝，後來到了宣統初年（1909年），清廷禁衛軍的軍裝也由該廠包辦。在第一次世界大戰期間，這個廠還向英、俄兩國提供炮車套、馬鞍、馬靴等軍需產品。所以吳靖的父親吳熙元，在北方是一個挺風光的實力派。
吳靖的母親是李鴻章另一個重要幕僚嚴筱舫（名信厚，1838－1906）的大女兒，名嚴淑英。嚴筱舫同治初年在上海時就加入了李鴻章幕府，後來由李鴻章派到天津掌管長蘆鹽務，由此發家。他在上海和天津都干過很多事業，尤其為人稱道的是出任上海第一任總商會會長，還擔任中國第一家銀行——中國通商銀行的首任董事長。他總共有三個孩子，一男二女，兒子就是後來繼承、掌管了源豐潤官銀號的嚴子均（即嚴義彬，上海名媛嚴彩韻、嚴蓮韻、嚴幼韻的父親）；大女兒就是吳靖的母親嚴淑英；小女兒嚴毓珊，後來嫁給海鹽官宦之後朱培卿。