我家湘上高嵋山，茅屋修竹一萬竿。
最是故園難忘處，待鶯亭畔路三叉。
莽莽寒山匝四圍，眼穿望不到庭闈。
絮漂江浦無人管，草綠湖南有夢歸。
中國人有安土重遷的傳統觀念，曾竟希在六十六歲時能下決心離開祖居搬到條件更為艱苦的偏遠山村白楊坪，可推知他在原居地的生活不會十分安逸富有。有兩種可能：一是他購買了白楊坪便宜的土地；一是他在原居地的生活發生了某種變故或日益艱難，方舉家前往山區開荒謀生。
而從曾竟希次子、曾國藩祖父曾玉屏的回憶中可知：曾玉屏少年時的生活還算過得去。祖父曾輔臣過世時他已三歲，之後是一段“往還湘潭市肆，與裘馬少年相逐，或日高酣寢”的“少耽游惰”的日子。之後，顯見其家生活每況愈下，以致鄉親父老譏責他浮薄浪蕩，將成為敗家之子。曾玉屏“立起自責”，賣馬步行，從此終身天不明即起。曾玉屏自述“余年三十五，始講求農事”。他三十五歲那年，正是其父曾竟希舉家遷徙白楊坪，“居枕高嵋山下”的嘉慶十三年（1808年）。也就是說，嘉慶十三年後，曾國藩祖父曾玉屏跟隨其父曾竟希在高嵋山下白楊坪開荒創業。高嵋山“壟峻如梯、田小如瓦”，生產生活條件均較艱苦。三十五歲的曾玉屏成為主力，“鑿石決壤”，將十幾塊小田土連接成一片大田地，“然後耕夫易于從事”。他一早一晚澆地灌田，聽蟲鳴鳥叫以知節氣，觀禾苗露水以為樂趣。還“種蔬半畦，晨而耘，吾任之，夕而糞，庸保任之。入而飼豕，出而養魚，彼此雜職之”，過著鄉居地主兼自耕農的生活，家庭經濟條件也逐漸改善，為他的子輩曾麟書等、孫輩曾國藩等耕讀生活奠定了基礎。
曾國藩世代務農的祖先，包括始遷湘鄉、積聚數千金產業的曾國藩太高祖曾元吉在內，均未發現有關他們社會地位的記載。直到曾國藩為其祖父曾玉屏作的《大界墓表》中，方得一窺以曾玉屏為代表的曾家在地方上的地位。
曾玉屏在地方上屬頭面人物。津梁道途，廢壞不治者，孤嫠衰疾無告者，他量力之所能，隨時圖之，不無小補。鄰里訟爭，他居間以解兩家之紛，評理講情，調解說合，擺酒吃茶，使之一笑散去。遇到“尤無狀者”，他“厲辭詰責，勢若霆摧”，“悍夫往往神沮”。所謂“居下，則排一方之難，在上，則息萬物之囂”。
曾玉屏之所以能具有這樣的社會地位，有以下幾方面原因。
第一，曾玉屏以築宗祠置祀產之舉成了曾氏宗族組織的領袖。
曾玉屏是將曾氏族人組成宗族組織的倡導者。曾氏宗族曆來沒有祠堂。曾玉屏“謀之宗族諸老”，為本支始祖、元明之際始遷湖南衡陽廟山的祖先曾孟學建立了祠堂，定于每年十月致祭；又“謀之宗族諸老”，為清初始遷湖南湘鄉的曾祖曾元吉別立祀典，“糾族之人議積一歲之租”置圳上之田十畝，又將曾元吉身後四十畝田並為公祀田。這就從精神上和經濟上將雖聚居卻散在的曾氏族人以共同祭祀祖先、共同管理和分享公共祀產的形式組織起來。雖然曾國藩在其《祖四世元吉公墓銘》中說此事是其祖父曾玉屏與“族長尊三、以彰二公”一同“糾族之人議”，然曾玉屏卻說是他“謀之宗族諸老，建立祠堂”，“歲以十月致祭”；是他“又謀之宗族，別立祀典”；“歲以三月致祭”，同時講明了自己的認識：“世人消災求福，往往祈于神靈。我以為神靈降福親不過祖考。因此每年設祭，只重生我養我的祖先，其他祭祀則可有可無。我曾家後世即便貧窮，禮教不可廢；子孫即便愚笨，家祭不可從簡。”在這里，所謂“族長”只是指族中耆老、長輩，起積極推動乃至決定作用的是曾國藩的祖父曾玉屏。特別是曾玉屏強調要“獨隆于生我一本之祀”，“後世雖貧，禮不可隳，子孫雖愚，家祭不可簡也”，更顯示了他在宗族中的領袖地位。
第二，曾玉屏是當地有經濟實力又有威望的人物。
曾玉屏在地方能夠隨時隨地修橋補路、恤孤濟貧；在宗族能夠首倡築宗祠置祀產，說明他與其父曾元吉遷至白楊坪後經過一段艱苦的開山創業、勤儉積累，具有了一定的經濟基礎，贏得了當地人的尊重。