为会稽廷掾。后来再熬了十几年，终于转迁为辅国将军、宣城内史。随着桓温出任大司马，执掌江左朝廷政事。手下的人才也不够用了，所以开始重用起桓秘这个弟弟。再怎么不对，两人还是亲兄弟不是。
按照桓温的安排。桓秘就任中领军，执掌建康城内的宿卫兵力。与城外的桓冲内外呼应，监控朝堂，谁知道出了这么一单子事情。
桓温将桓秘一撸到底主要是太气愤自己这个弟弟了。自己将中领军这么重要的职位交给他。谁知这小子居然让逆贼潜入城中。举兵攻打宫门。而且还差点得手。桓温知道，真要是让这些逆贼攻破宫门。让晋帝和太后在兵乱中受到一点点伤害，自己就被天下人活活骂死，并成为千古罪人。自己虽然想留名青史，却不想这样留名呀。
桓温觉得气愤，桓秘却觉得自己冤枉。千防万防，家贼难防。家地势力当年与琅琊王家不相上下，门生故吏遍布江左，数以千计。这次武遵、卫潜入建康城，内奸陆始发挥着重要的作用，这叫我怎么去防范？我不是在第一时间领军平叛，要不是我领军收复了云龙门，卫和武遵东西对攻，说不定就真的把内宫给攻破了，我没有功劳还有苦劳吧。再说了，这次兵乱地根源在哪？还不是你构陷殷、两家，激起民愤，哦，我帮你擦了屁股还得替你背黑锅，有你这么当大哥的吗？以前是拼命压制我，现在压不住了又故意借题发挥，纯粹是嫉妒我的才华。
桓秘在心里把自己这个兄长恨得是牙根直痒痒，在廷尉那里天天喊冤，直指大司马桓温的不是，把廷尉郁闷得要死，夹在中间内外不是人。反正你们哥俩是亲兄弟，我一个外人掺和什么，到时你们两兄弟和好了，不是全落在我的头上了。所以廷尉干脆天天过堂，例行审问，审后再往上面交一份堂供，便什么也不管了。
而外面那些与桓秘交好的名士们也借机发挥，大骂桓温无情无义，寡恩薄情，连兄弟都不放过更何况旁人。最后还是桓秘的老东家-晋帝司马看不过去了，在病中传下一诏，说桓秘没有罪，反而还有功。