顯然，母親并沒有辜負“送子娘娘”對她的托付，她本來對這個世界就傾注了熱烈的愛，對她自己親生的幾個孩子的愛更是無法形容；而對于堯棠，則就更加愛逾珍寶。
李家的長房住在公館裡的右上房，祖父李镛住的是左上房。
堯棠就在這裡經常被長輩和下人們懷抱着，從一個人手裡傳遞到另一個人手裡，被愛撫着，因為他當時最小，最受寵愛。
他的大哥堯枚比他大七歲，他的另一個哥哥堯林比他大一歲，但他稱這個哥哥為三哥，因為那時他的二叔也生了個男孩，比他大兩歲，李家是大家庭，按着大排行的規矩，這樣，堯林就是老三了。
當堯棠自己會走路，雖然總還有大人帶領着，但他就再也受不住大人過分的約束，歡喜跟着哥哥、姐姐們去各個屋子串門，特别歡喜穿過大廳和花廳，來到公館右邊的花園裡，看重重疊疊的假山，看紅紅綠綠的花草，看飛來飛去的空中小鳥，和使池塘水面上出現明亮珠子的太陽。
可惜的是在他四歲那一年，他不小心跌進了水池裡，這事被祖父知道了，立即命人把水池填平。
從此，這個花園就再也沒有池塘了。
1909年，清朝宣統皇帝接位，堯棠的父親李道河好不容易獲得官府通知，可以到廣元當知縣。
廣元在嘉陵江上遊，四川省的北邊，靠近陝西省，離成都有四百多裡路程，是個偏僻的山區，土地貧瘠，人民生活困苦，對做官的來說，并不是個肥缺。
但李道河正在青壯年，血氣方剛，覺得有個知縣位置，總比閑在大家庭中強，這就鼓起勁頭，帶着自己家七口人，加上一直服侍妻子的袁嫂，和日常帶領堯棠、堯林玩的楊嫂，以及小丫頭香兒，老書僮賈福等一行，浩浩蕩蕩上路。
當時從成都到廣元，既無鐵路，又無公路，隻有靠乘船和坐轎。
堯棠的母親生過六個孩子，身體原不很好，這時偏巧又有身孕，沿途照料丈夫和孩子，辛勞是很難用三言兩語形容的。
五歲的堯棠，對這次旅途生活，卻感覺到又新鮮又快活，他從來沒有看到過那麼高的山，那麼寬闊的河面，那麼多的樹木。
大概經過二十多天的路程，全家才到達了廣元縣城。
他們一家住進衙門裡。
那地方比成都老家還大。
進去便是一塊很大的空地，兩面是監牢，零零落落關着一些犯人。
接着便是堯棠父親審判犯人的大堂，然後是二堂、三堂、四堂，還有草地和桑林，以及養雞放鴨的地方，算起來總共有六、七進。
他們住在三堂，和在成都時一樣，堯棠和母親仍睡在一張床上。
雖然不久他的第一個妹妹乳名廣麐的李瓊如出生了，這個妹妹就是至今健在的九姑，巴金同志家裡和善可親的“九姑”。
但母親還是和他睡在一起。
每天一早醒來，他就看到母親圓圓胖胖的臉，總是帶着微笑，愛撫着他。
從那個時候開始，他跟着兩個哥哥和兩個姐姐到二堂旁邊的書房上學，教書的是一位三十多歲年紀的劉先生，人很和善，從不責備他。
他先教堯林、堯棠識方塊字，後讓他們讀《三字經》，然後再讀《百家姓》和《千字文》。
劉先生還能按照書本畫出各種人物、山水、花草和房屋。
他在孩子們心中是個本領很大的人。
他給大哥、二姐、三姐都規定了放學的時間，唯有堯林、堯棠例外，可以早些回家。
下午放了學，堯棠總和三哥堯林由丫頭香兒帶着到四堂後面的草地上去玩。
有時他們在桑樹上采桑果吃，更多的時候是給公雞和母雞起名字，替雞群排隊，做各種遊戲。
有時看雞鬥，他恨兇狠的霸者，同情受欺壓的弱者。
有一天，他發現他心愛的大花雞沒有了，香兒說：“該是太太叫廚房裡的何師傅抓去殺了！”堯棠就奔到母親那邊，懇求她不要殺
那隻雞，母親微笑說：“那就叫他們換一隻吧。
”堯棠說：“這些雞全是我歡喜的，你就不要殺它們吧。
”母親說：“那不行，是你爹爹吩咐了的。
你快到廚房去看一下吧，遲了，那大花雞便完了。
”他又急忙跑到廚房裡，果然，何師傅已在揩沾滿了鮮血的刀，那隻大花雞已睏倒在血地裡，撲着翅膀咽氣了。
他大哭着，回到母親的懷抱裡，母親雖然笑着，喊他“癡兒”，但她并沒有責備他，隻撫摩着他的頭發，給他安慰。
到了吃晚飯的時候，飯桌上端來了一盤雞肴，别人吃得津律有味，而他卻無法下筷。
他癡癡地想着：“為什麼做了雞，就得被人殺着吃呢？”
那時節，一到晚上，母親還給孩子們各人一本用白紙訂成的小本子，她每天在這些小本子上，用娟秀的筆迹，端正地抄上一首詞，那是按着《白香詞譜》的順序抄錄下來的。
她柔聲地讀着這些詞句，并為孩子們講解，讓孩子們從幼小的年齡起，就接觸到文學和音樂，引導他們的心靈走向藝術的殿堂。
堯棠順應着母親的吩咐，按日背熟一首詞，他當然未必能完全理解這些詞的意義，和作者的心情，但他從來不曾因為母親這樣的引導感到痛苦，他總是覺得在母親身邊讀詩背詞，是一件非常快樂的事情。
來到廣元的第二年，堯棠的第二個妹妹出世了。
這是母親生的第八個孩子，她的乳名叫元麐。