这四年期间，一开始的时候许诺和寿康的外家还有点来往，但是自从彭主夫——彭氏的亲爹去世后，两处的来往也断了，许诺只能一个人独自带着小寿康慢慢成长。
袁家的祖屋非常大，养一个孩子的开销也大，袁文念也没有任何消息。许诺不得不将祖屋卖掉换得一些银钱保证寿康能够长大，好在寿康的确很好养活，什么吃的都不挑，只要能吃饱他就会很乖巧。
寿康3岁的时候，许诺离开了那个地方，搬到了连阳县里。三岁的孩子已经乖巧懂事，听得懂别人的话了，这附近哪一家不知道袁家的事情，男人们嘴巴碎，一些叔爷门有事没事总喜欢坐在一起唠嗑，看见寿康出门，就会故意地撩拨他问他娘和爹的事，寿康不懂，总是回来问许诺。
许诺拿别人没有办法，只好跟寿康解释，“娘去京城考举人去了，等到寿康长大就会回来接寿康去享福”“我就是你亲生的爹爹啊，哪里还有别人，那是别人与你说笑的”……
这些话，哄得了他一次，多次就没用了，许诺暗自恼怒，却始终不能阻止