纏綿的愛情和無奈的婚姻
曾祖父去世後，袁迪新的父母就搬到了天津，因為她母親段式巽在娘家最受寵，在大城市生活慣了，有機會就往娘家跑。他們住在天津日本租界須磨街上的段府，那房子是老段的學生魏海樓（段祺瑞手下的一個師長）讓給段家住的，是一處很大的院子，有前樓、後樓、側樓、球場、花園，前樓大些，後樓小些，中間還夾著一個大廚房。
段祺瑞寵愛三小姐，把他們一家安排在前樓和自己一起住，還給外孫女袁迪新請來了家庭教師，教她讀書寫字。袁迪新的小學就是在外公身邊讀的，而且身邊從來不缺零花錢，只要向外公彙報說今天功課做得很好，就一定得到一塊錢的獎勵。外公要是看見誰家的女孩兒腳上的花鞋好看，就會關照管家，給小織（袁迪新的小名叫織姑）買一套來。所謂一套就是大號、小號、中號等一長串，以至于小織姑常抱怨，怎麼人家的鞋都有別的花樣的，我的鞋怎麼總是一個花樣的？
1933年年初，蔣介石請老段“南下頤養”的時候，他們一家以及其他幾個姨媽姨父，還有段祺瑞的侄子段宏綱一家，都隨之來到了上海。先是住在武康路，後來住到霞飛路（現淮海中路）原先軍閥陳調元的一處老房子里。老段家只有大兒子段宏業一房留在了北方。
不知是什麼原因，袁迪新一家到了上海後還曾回過北京，在段祺瑞的老宅“空府”里住過一段時間，直到段祺瑞1936年在滬去世後才又回到上海。北京的“空府”是很大的宅院，里面有很多房子，後花園也很大，種著各種果樹，那時候只住了段宏業一家、段三小姐一家和一些親戚。段宏業家眷很多，有八個孩子（據說姨太太還不止八個），而段三小姐只有袁迪新這麼一個孩子，而且長得聰明伶俐，表哥表姐們都很喜歡她，而袁迪新只喜歡跟二表哥段昌義一起玩。
關于這個段昌義，外界有很多傳說。一種傳說是段宏業跟外國老婆生的，而外國老婆在哪里，不知道，反正段昌義成了沒娘的孩子，沒人疼愛，在大家族里顯得很孤獨。其實他跟段家沒有血緣關系，是段宏業的二姨太的姐姐的孩子，二姨太的姐姐後來跟一個外國人出國了，把孩子送給了妹妹，就權當是段家的孩子了。
袁迪新最初是出于同情心，覺得段昌義挺可憐，沒人願意睬他，就主動與之接近，能給他帶來點愉快，也就是自己的愉快了。段昌義自覺在家族中是個多余之人，何況在有些場合家人還常把他忘記。有的兄弟甚至還認為他分享了父母的關愛，對他很嫉恨。偏偏他讀書很好，談吐和風度也不錯，在段家公子中很突出，那就更遭人嫉恨了。
他很喜歡袁迪新這個小表妹，好學上進，富有同情心，沒有富家小姐的嬌氣和傲氣，兩人又談得來，不知不覺萌生了愛情。後來他考上了南開大學，袁迪新在北京讀貝滿女中，他們幾乎隔一天就有一封情書往還。再後來袁迪新跟父母到了上海，他們依舊魚雁不斷，日子久了，袁迪新收到的信已經裝滿了一個抽屜。
段三小姐知道女兒跟段昌義的交往，起初並不反對，當著段昌義的面，還答應把女兒許配給他。可是不知怎麼回事，她說話沒算數，說反悔就反悔了，後來一定要女兒嫁給一個大她10歲的徐某，理由是男的大些會疼老婆。其實袁迪新知道，那是母親和徐某的母親搗鼓的結果，她們常在一起打麻將，是麻將桌上敲定的“交易”。
袁迪新的母親從小被老段寵壞了，脾氣大得很，她決定了的事，幾乎無人能改變，有時為了一碟小菜不好吃，她居然會跑到廚房里搧廚師的耳光。丈夫袁家鼐在她面前甘拜下風，曆來只有絕對服從的份兒。她只有女兒而沒有兒子，就想過繼一個兒子，但事先又沒有講清楚，只是說把她大姐的一個孩子抱來家玩幾天。可是等人家上門來要孩子了，她竟對人家說：“你們要把孩子抱回去，除非拿槍先把我打死！”對于女兒的婚事，她的話更是不容置辯。于是就苦了袁迪新了，她剛20歲，還是上海震旦女子文理學院的學生，只讀了兩年就不讓讀了。