他根据带湖四周的地形地势，亲自设计了高处建舍，低处辟田的庄园格局，并对家人说：“人生在勤，当以力田为先。”

因此，他把带湖庄园取名为稼轩，并以此自号稼轩居士，做好了归隐的准备。

果然，同年十一月，由于受弹劾，官职被罢，带湖新居正好落成，辛弃疾回到上饶，开始了他中年以后的闲居生活。

此后二十年间，他大部分时间都在乡闲居。

淳熙十五年冬，其友陈亮从故乡浙江永康专程拜访辛弃疾，两人于铅山长歌互答，称第二次鹅湖之会。

鹅湖之会后，辛弃疾又陆续出山两次做官。

绍熙五年夏，辛弃疾又被罢官回上饶，住在瓢泉，动工建新居，经营瓢泉庄园，决意：便此地、结吾庐，待学渊明，更手种、门前五柳。

庆元二年夏，带湖庄园失火，辛弃疾举家移居瓢泉。

辛弃疾在瓢泉过着游山逛水、饮酒赋诗、闲云野鹤的村居生活。

瓢泉田园的恬静和期思村民的质朴使辛弃疾深为所动，灵感翻飞而歌之，写下了大量描写瓢泉四时风光、世情民俗和园林风物、遣兴抒怀的诗词。

庆元四年，辛弃疾被授予主管冲佑观之职。

嘉泰三年，主张北伐的韩侂胄起用主战派人士，已六十四岁的辛弃疾被任为知绍兴府兼浙东安抚使，年迈的辛弃疾精神为之一振。