桓玄被刘裕逐走，王诞便动念回转建康。卢循攻下广州番禺，抓住广州刺史吴隐之，自称平南将军，报广州事，任王诞为平南长史，对其十分优待。

占据广州之后，卢循遣使朝贡，并送给刘裕益智粽，刘裕知晓其讥讽之意，派人回赠续命汤。

当时桓玄尚未平灭，朝廷需要安稳的后方，于是刘裕以天子名义权宜任命卢循为广州刺史。

王诞归心似箭，他心知朝廷和卢循之间早晚必有一战，身为王家子弟他不可投向卢循，届时身处广州要不被卢循逼着叛逆，要不就被宰了祭旗。

趁着此时朝廷和卢循和解，王诞向卢循声称自己不会领兵，留在广州无用，请卢循放他回建康。

王诞许诺，将来定会报答其恩情，卢循同意。当时，刘裕让卢循送还被俘的广州刺史吴隐之，卢循不肯。

王诞决定在新掌权的刘裕面前立个功，劝说卢循道吴隐之曾是广州刺史，在广州素有人望，得百姓拥戴，一山难容二虎，留他在广州反而无益，于是卢循放王诞和吴隐之一同回建康。

杨安玄对王诞不甚了了，对这位阿附司马元显的王家子并无好感，可是杨安玄对同他一起回归的吴隐之闻名久矣。

这位吴刺史是历史着名的廉吏，他曾任卫将军谢石的主簿，算得上位高权重，却清贫自守，以至于女儿出嫁都要卖家中所养的狗换钱宴客。

朝廷任他为广州刺史，让他前往整肃岭南官场风气，路过石门贪泉，传言谁喝了贪泉水都会变得贪得无厌。

吴隐之特意饮贪泉之水赋诗明志，在任时将宅中器物撤除归库，夫人刘氏织布、劈柴、做饭，甚至还背着柴火到集市卖钱补贴家用。

刘裕听闻他的清廉，特意向卢循要返吴隐之。吴隐之返家乘一叶小舟，随行依旧是来时行装。

妻子刘氏买了一斤沉香木，准备回乡补贴家用，吴隐之发觉认为不是自家之物，弃之水中。

吴隐之归家还是茅屋六间，篱笆院墙，刘裕赐牛车、宅院，吴隐之坚辞不受。

前世杨安玄从晋书中读过吴隐之的事迹，两晋时官风腐败，何曾父子日食万钱、石崇王恺斗富，便是谢石也聚敛无度，在这样的大环境下，吴隐之能守住初心，甘于清贫，着实让人崇敬。

再看堂上王家子弟，个个衣锦衣、披轻裘、挥麈尾，有如神仙中人，可是比起吴隐之的洁操来这朱门风流便显得刺眼了。

杨安玄淡然拱手道：“原来是王兄，恭喜你脱得大劫，将来必有后福。”王诞感觉到了杨安玄的冷淡，不过经历过贬谪广州，城府变深，客客气气地回礼道：“多谢杨刺史吉言。”杨安玄目光看向对面，发现不少认识的人，当年华林园中王家子弟设计陷害自己，那个王纯之如今蓄起了短须，目光闪烁不敢直视自己。