世子回归之后，便会进入锦衣卫四处历练，直到父亲卸任，他便正式接替。
而他接替的不仅是锦衣卫指挥使一职，还有整个广平侯府。
因为老广平侯卸任的也不仅只是锦衣卫指挥使，还有广平侯的爵位。
这一点也和其他勋贵不同。
老广平侯卸任之后，便会归隐雀灵山，那里便是锦衣卫的训练营，从此之后，老广平侯便会在那里为锦衣卫培养新血，也在那里终老。
雀灵山后，埋葬着历代广平侯和他们的妻子。
围绕着神秘的广平侯府，朝野上下一直都有各种传说，但是宣公公做为皇帝近身之人，自是比别人知道得多上一些。
比如历代广平侯世子在十五岁之前的下落，便只有广平侯自己知晓，就连皇帝也不会过问，这是太祖皇帝给予广平侯府的特殊权利。
据说，第一任广平侯，为太祖呕心沥血，他的长子是因为某件事情，被太祖误会，而被广平侯亲手杀死的。
自此之后，广平侯先后生了三个儿子，却没有一个活过十五岁，便死于非命。
当时的广平侯已经垂垂老矣，太祖赐给他一个年轻的美人，一年之后，美人生下一子，广平侯跪求太祖皇帝，准他将幼子送出京城，保住最后的骨血。
太祖皇帝应允，那位还在襁褓中的小世子就此消失，十五年后，广平侯早已不在人世，太祖皇帝也已老态龙钟，十五岁的小世子终于回到京城，太祖皇帝看着这个酷似老广平侯的少年，想起昔日那个陪他打下江山，为他保驾护航的老臣，老泪纵横，不但让世子顺利袭爵，并将锦衣卫指挥使之位赐给广平侯府，并允诺，广平侯府世子十五岁前可离京养育，任何人不得打听其下落。