Окончил Ташкентское танковое училище имени П. С. Рыбалко в 1963 году и был командирован в Группу советских войск в Германии, где служил на должности командира взвода и командира роты. В 1969 году был направлен на обучение в Москву на командный факультет Военной академии бронетанковых войск имени Маршала Советского Союза Р. Я. Малиновского, который окончил с отличием в 1972 году. Командир танковой дивизии Киевского военного округа (1980-е гг). Старший группы советских военных советников и специалистов в Сирийской Арабской Республике (1984—1987). Начальник отдела Главного управления кадров Министерства обороны (1987—1992). Заместитель начальника 1-го управления Главного организационно-мобилизационного управления Генерального штаба Вооружённых Сил. Один из основателей Центрального казачьего войска.

Награжден  орденами Мужества, Красной Звезды, «За службу Родине в Вооружённых Силах СССР» III ст. и многими другими наградами.

14 октября 2020 г. на Федеральном военном мемориальном кладбище состоялась церемония захоронения генерал-майора Ермольева Николая Николаевича.