樊胄识破了谭雄的缓兵之计，心中怒气勃发，果断放弃劝降，下令军队强攻四门。
但因为兵力分散，虽然城内的谭雄也有些疲于应付，攻城的效果并不好。
谭雄准备充分，樊胄军靠近城墙都不易，双方的交锋是用弓箭远程互射为主。
樊胄亲自在四门巡视，对手下将领的攻击非常不满。
但将领们各有各的理由，一致建议樊胄“围三缺一”，好让谭雄弃城逃跑。
如果真的是孤城难守，有了逃走的通路，谭雄当然会弃城而走。
事实上，谭雄城内粮草充足，外有潘濬的援军兼程赶来，肯定不会弃城逃走。
谭雄用缓兵之计，不但争取了时间，也简慢了樊胄的军心。
在城下驻扎十余天以后才开始攻城，，樊胄军早就没有了兵临城下的锐气，一个个都是无精打采，装模作样的进攻，对城门没有造成什么威胁。
反观谭雄的手下，大部分是城内世家的私兵，知道樊胄招降在先，然后出尔反尔，不给众人提供军粮，摆明了要从自己的嘴里抢食。
军卒们个个义愤填膺，为了自己和家族的利益，抵抗非常激烈。
为了加强攻击的效果，樊胄集中进攻北门，甚至动用了军法，杀掉了几个畏缩不前的军卒。
樊胄这招还是有效，他手下几个心腹将领非常卖力，但因为军士们不肯卖命，进攻没有大的起色，连续两日，伤亡不小，士卒连城墙都没有攀上去。
照这样打下去，不知道何时能够攻破城池。
而樊胄派出的探子来报，潘濬的援军已经过长沙，离武陵城最多只有三天的路程了。
潘濬在荆州名声很大，文武双全，虽然也只有五千军队，但樊胄有自知之明，可不认为自己五千乌合之众能够抗衡潘濬的精兵，不由萌生退意。
樊胄手下的谋士不少，有几个还是有真才实学的，也是真心为樊胄谋划。
他们看出事不可为，建议樊胄立即退军，以免背腹受敌。