嵩为左中郎将、朱俊为右中郎将，调发全国精兵分击黄巾义军。
皇甫嵩与朱俊调发五校(北军五校，为中央主要常备军，即屯骑、越骑、步兵、长水、射声五校尉所将宿卫兵)三河(河东、河内、河南)骑兵，同时招募精壮之士，共计四万多人。二人各率一部，共同镇压颍川(郡治阳翟，今河南禹县)义军。
朱俊先与黄巾军波才部作战，失败。皇甫嵩退守长社(今河南省长葛县东北)。波才率大兵包围城。当时，城中兵少，众寡悬殊，军中震恐。皇甫嵩安慰部下，他说：“兵有奇变，不在觽寡。今贼依草结营，易为风火。若因夜纵烧，必大惊乱。吾出兵击之，四面俱合，田单之功可成也”(《后汉书·皇甫嵩列传》)。天遂人愿，当晚大风骤起。皇甫嵩命令将士扎好火把登上城墙，先派精锐潜出围外，纵火大呼，然后城上点燃火把，与之呼应。皇甫嵩借此声势，鸣鼓冲出。黄巾义军缺乏战斗经验，惊慌散乱，被迫后撤。这时，曹操也奉命赶来，于是皇甫嵩、曹操、朱俊合兵，乘胜追击。黄巾义军顽强抵抗，数万人惨遭屠戮。皇甫嵩则被晋封为都乡侯。
接着，皇甫嵩又和朱俊一起乘胜镇压汝南、陈国地区的黄巾军，并追击波才、进攻彭脱，连连取胜，平定了三郡之地。
八月，皇甫嵩在苍亭击败黄巾卜已部，擒获卜已，屠杀七千多人。这时，张角占据广宗，控制河北腹地，卢植、董卓前往镇压，先后败归。朝廷下诏命皇甫嵩率兵进击。在这紧要关头，张角病死，张梁担起守卫广宗的重任。皇甫嵩攻城，未能得逞，便闭营休士，以观其变。等到张梁被迷惑，放松了警惕。皇甫嵩立即乘夜调兵，鸡鸣时分冲人其阵，黄巾军仓促应战，张梁战死，阵亡三万多人，投河而死的有五万多人。皇甫嵩焚烧黄巾辎重车三万多辆，将张角“剖棺戳尸，传首京师”(《后汉书·皇甫嵩传》，参见广宗之战)。
十一月，皇甫嵩与巨鹿太守冯翊，攻克下曲阳(今河北晋县西北)，杀死张宝，斩杀俘虏十余万人(参见下曲阳之战)。汉廷