В рядах Вооружённых Сил СССР Анатолий Иванович Терехов с 1952 года. С отличием окончив Ленинградское военно-инженерное училище имени А.А. Жданова, он проходил офицерскую службу в инженерных войсках на должностях командира взвода, заместителя командира роты по технической части, командира роты, начальника учебно-экспериментального полигона, заместителя командира полка. Всецело отдаваясь военному делу, он уверенно поднимался по служебной лестнице.

         В 1969 году окончил Военно-инженерную академию имени В.В. Куйбышева. В 1974 году Терехова назначили первым заместителем начальника объединённого управления 9-го Центрального управления в Московском военном округе, а спустя четыре года он возглавил объединённое управление 9-го Центрального управления в Приволжском военном округе. В 1985 году генерал-майор Терехов принял должность заместителя начальника 9-го Центрального управления.

         Награжден орденом Трудового Красного Знамени, Красной Звезды, «За службу Родине в Вооружённых Силах СССР» III степени, Почёта. 

6 октября 2020 г. на Федеральном военном мемориальном кладбище состоялась церемония захоронения генерал-майора Терехова Анатолия Ивановича.