城坚守固，最后也未能攻下，部众疲劳不堪。只好于中平六年(189年)二月解围撤退。皇甫嵩立即起兵追击。董卓劝阻说：“不可。兵法，穷寇勿追，归众勿迫。今我追国，是迫归众，追穷寇也。困兽犹斗，蜂虿有毒，况大众乎！”皇甫嵩说：““不然。前吾不击，避其锐也。今而击之，待其衰也。所击疲师，非归众也。国众且走，莫有斗志。以整击乱，非穷寇也”(《后汉书·皇甫嵩列传》)。说完，便独自率兵追击，而命董卓殿后。皇甫嵩连战连捷，大破王国的部众，斩杀一万多人。董卓义惭愧又遗憾，愈加忌恨皇甫嵩。
第二年，灵帝病重，任命董卓为并州牧，让他把部队交给皇甫嵩统领。董卓不肯奉命。皇甫嵩的侄儿皇甫郦认为董卓逆命怀奸，罪在不赦，力劝皇甫嵩兴兵讨伐。皇甫嵩说：“专命虽罪，专诛亦有责也。不如显奏其事，使朝廷裁之”(《后汉书·皇甫嵩列传》)。于是上表。朝廷责备董卓，董卓对皇甫嵩更增怨恨。后来，董卓秉政，征召皇甫嵩为城门校尉，想寻找机会将他杀掉。皇甫嵩应召将行，长史梁衍劝他起兵抗拒董卓，与袁绍呼应。皇甫嵩不听。皇甫嵩一到，主管官员便秉承董卓之意，上奏朝廷，将他交付审判，想把他杀掉。
皇甫嵩的儿子皇甫坚寿跟董卓有交情，从长安跑到洛阳，投奔董卓。董卓正摆设酒宴，大会宾朋，皇甫坚寿抢步向前，与他辩理，且责以大义，叩头落泪。在座的宾客深受感动，纷纷替皇甫嵩求情。董卓这才离席而起，拉皇甫坚寿和自己同坐，并派人释放皇甫嵩，任命他为议郎。后又升任御史中丞。
初平二年(191年)四月，董卓到长安，公卿百官在道边迎接。董卓暗示御史中丞以下官员都迎拜车下，用此来屈降皇甫嵩意气。然后，拉着皇甫嵩的手问：“义真，你害怕了没有?”皇甫嵩回答：“倘若您用盛德辅佐朝廷，大的祥庆正将到来，有什么可害怕的?倘若您滥用刑罚，逞其私志，那么天下都要恐惧，不单我一个人!”
董卓被杀之后，朝廷任命皇甫嵩为征西将军，