当时，刘盆子住在长乐宫，“诸将日会论功，争言欢呼，拔剑击柱，不能相一”。三辅官吏及地方的贡献品，不等送到建世皇帝那里，便被士兵剽窃一光。军队又多次“虏暴吏民”,搞得百姓只好“保壁”“固守”。腊祭之日，樊崇等设乐大会，盆子高坐正殿，中黄门持兵器在后边护卫，众公卿皆排列坐于殿上。
还没有正式开始宴会的时候，有一人(也许是留用的旧文吏)取出笔来书写了一个谒(亦称名刺、名帖，相当于今之名片，汉时通常以木牍为之)打算送呈皇帝以示恭贺，没有想到这个时候一群不识字的僚属忽然“呼啦”一下全拥了上去，要求把自己的名字也写在谒上，刹那间秩序大乱。大司农杨音按剑骂道：“诸卿皆枸邑也!今日设君臣之礼，反更淆乱，儿戏尚不如此，皆可格杀!”意谓你们这帮家伙全是老头儿，今天安排实行君臣之礼，不想反而更加混乱，小孩子玩游戏尚且要遵守一定的规则，也不能这样乱来一气，你们都应该杀头!
杨音的喝骂不但没有制止住乱糟糟的局面，反而致使混乱升级，“更相辩斗”,外面的兵众这个时候乘机冲进来，“人掠酒肉，互相杀伤”。卫尉诸葛稚闻讯赶到，“勒兵入，格杀百余人，乃定”。经过这次折腾，“盆子惶恐，日夜啼泣”“不闻外事”。刘恭面对这种乱哄哄的形势，也深深觉得前途不妙，担心自己和弟弟刘盆子俱遭祸殃，便悄悄地告诉刘盆子，让他归还玺绶，辞去皇帝位，并教习以辞让之言。