Участвовал в боевых действиях на Западном (июнь — июль 1941), Юго-Западном (сентябрь 1941—март 1942), Северо-Западном (апрель — май 1942), Южном (май 1942—август 1942), Северо-Кавказском (Черноморская группа август 1942—март 1943), Брянском (март 1943—октябрь 1943), 2-м Прибалтийском (октябрь 1943—март 1945) и Ленинградском фронтах (апрель 1945—май 1945) в качестве командира 170-го артполка 137-й стрелковой дивизии (июнь — июль 1941), командира 4-го гвардейского полка реактивной артиллерии РВГК (сентябрь 1941—март 1942), представителя командующего гвардейскими минометными частями Ставки Верховного Главнокомандования (апрель — май 1942), начальника оперативных групп гвардейских минометных частей фронтов (с мая 1942 до августа 1944), заместителя командующего артиллерией фронтов (с августа 1944 по май 1945). Воевал под командованием таких известных военачальников, как С. М. Буденный, Л. А. Говоров, А. И. Еременко, Р. Я. Малиновский, П. А. Курочкин, И. Е. Петров, М. М. Попов, М. А. Рейтер, А. И. Антонов, Н. А. Булганин, Л. М. Сандалов, Ю. П. Бажанов, В. И. Вознюк, Н. В. Гавриленко, Л. М. Гайдуков, А. Д. Зубанов, М. И. Неделин, Г. Ф. Одинцов. В боях взаимодействовал с войсками, которыми командовали К. С. Москаленко, П. М. Козлов, В. Д. Крюченкин, А. И. Родимцев, И. Н. Руссиянов, Ф. М. Харитонов и др. Под его командованием воевали такие известные ракетчики, как А. Г. Карась, А. Ф. Тверецкий. Г. А. Тюлин и др.

В качестве командира 4 ГМП Нестеренко под Винником (4.10. 1941) впервые применил батарейный залп прямой наводкой, в результате чего была разгромлена колонна противника на марше.

По предложению Нестеренко приказом командующего Южным фронтом для прикрытия разрыва между Южным и Юго-Западным фронтами, куда прорывались танковые и механизированные колонны врага, в Дачном была сформирована подвижная группа фронта. В подвижную группу под командованием А. И. Нестеренко входили: 8, 49 ГМП, 14 ОГМДМ, два зенитных дивизиона — 113-й и 240-й, два стрелковых и артиллерийский полки 176-й стрелковой дивизии, противотанковые батареи. Подвижная группа прошла боевой путь в Сальских степях и у Манычского канала. Прикрываясь стрелковыми подразделениями и огнем зенитных и противотанковых батарей, непрерывно маневрируя на стокилометровом фронте, группа наносила массированные удары залповым огнем «катюш». Немецкие танки не выдерживали ударов «катюш», несли потери, отходили и искали обходные пути, замедляя наступление. Подвижная группа в течение недели сдерживала бронетанковые и механизированные колонны врага, нанося им огромный урон, не давая прорваться через разрыв между Южным и Юго-Западным фронтами на рубеже Буденновская — Бекетный, а затем — в разрыв между 12-й и 37-й армиями. Это был единственный случай в истории боевых действий, когда основную тяжесть борьбы с танками и мотопехотой противника несли гвардейские минометные части, а стрелковые части были подчинены начальнику оперативной группы ГМЧ фронта, обеспечивая прикрытие гвардейским минометам. За эту операцию Буденный и Малиновский представили Нестеренко к званию Героя Советского Союза, но, видимо, общая картина отступления показалась Сталину неподходящим фоном для награждения.

Летом 1942 г. в составе Черноморской группы Северо-Кавказского фронта в ходе ведения боевых действий ГМЧ в горах под руководством Нестеренко в войсковых условиях были применены переносные и вьючные «катюши». Было изготовлено 58 горных установок М-8-8 и сформировано 12 батарей. Эти «катюши» применялись в боях на Гойтхском перевале, на горах Семашхо, Два Брата, Индюк, на Малой земле под Новороссийском, у реки Пшиш, в начавшемся наступлении Северо-Кавказского фронта на Краснодар (август 1942—март 1943). Эти же установки впервые использовались на катерах и кораблях Черноморского флота при нанесении огневого удара по Анапе и в десантной операции под Новороссийском. Был также разработан железнодорожный вариант на дрезинах. 7.12.1942 г. Нестеренко присвоено звание генерал-майора артиллерии. Ему тогда было 34 года.

В 1943 г. Нестеренко вместе со своим штабом и частями обеспечения был направлен на Брянский фронт, которым командовал генерал-полковник М. А. Рейтер, позже — М. М. Попов.

В оперативную группу ГМЧ Брянского фронта под командованием Нестеренко входили: 2-я и 3-я гвардейские минометные дивизии (по три бригады в каждой) и 8-я отдельная бригада М-30, шесть отдельных полков М-13 (85, 93, 310, 311, 312, 313 ГМП) и дивизион М-8. В каждой бригаде четырехдивизионного состава имелось 288 пусковых станков, в дивизии 864, которые одновременно могли выпустить 3456 снарядов М-30 общим весом 320 т. Вот какая огромная мощь (практически артиллерийский корпус прорыва) была в руках Нестеренко для контрнаступления против сильно укрепленной обороны немцев в Курской битве. Полтора года немцы создавали Кривцовский узел обороны. 18 минут потребовалось нашим войскам, чтобы за огневым валом PC захватить его. Плотность разрывов достигала 30–50 на гектар. Оставшиеся в живых оглушенные и обезумевшие немцы бежали в нашу сторону с поднятыми руками и криками: «Гитлер капут!» По показаниям пленных, не уцелело ни одного блиндажа, ни одной огневой точки. 80-100 % живой силы и вооружения было уничтожено.

5 августа Москва салютовала освободителям Орла и Белгорода в честь пяти фронтов, среди которых был и Брянский. 17 сентября Москва салютовала освободителям Брянска и Бежицы. 310 и 74 ГМП получили наименование Бежицких. На Брянском фронте 28.8.1943 г. Нестеренко получил звание генерал-лейтенанта артиллерии и был награжден за боевые отличия двумя орденами Отечественной войны 1-й степени (18.5.1943 и 27.8.1943). Распоряжением Ставки Брянский фронт расформировывался, его армии переподчинялись Центральному фронту, а штаб, органы управления, части и соединения фронтового подчинения во главе с командующим фронтом Поповым перебрасывались в район Великих Лук и Невеля Псковской области, где из войск Северо-Западного, частично Калининского и Брянского фронтов создавался 2-й Прибалтийский фронт.

С 1 апреля 1945 г. войска 2-го Прибалтийского и часть войск 1-го Прибалтийского и Ленинградского фронтов, блокирующие курляндскую группировку немцев из 36 дивизий группы армий «Север», были объединены в Ленинградский фронт под командованием Маршала Советского Союза Л. А. Говорова. Нестеренко стал заместителем командующего артиллерией этого фронта. В состав оперативной группы ГМЧ Ленинградского фронта входили одна дивизия и четыре отдельные бригады М-31, а также 17 полков М-13. За боевые отличия на этом фронте Нестеренко награжден орденом Кутузова 2-й степени (29.6.1945). День Победы застал его за подготовкой к наступлению против курляндской группировки немцев. Курляндская группировка немцев в составе более 300 тыс. человек капитулировала.

Как показывает описание боевого пути, Алексей Иванович Нестеренко являлся видным полководцем Великой Отечественной войны. В заключительных операциях войны под его командованием находилось 7 тяжелых бригад гвардейских минометов из 40 имевшихся в Советской Армии (17,5 %). 17 полков «катюш» из 115 в Советской Армии (14,8 %), т. е. 1/6—1/7 главной ударной мощи Советской Армии — реактивной артиллерии.

В боях А. И. Нестеренко проявлял ум, сметку, смелость, находчивость, изобретательность, инициативу, высокий профессионализм, умело использовал маневренность и ударную мощь нового оружия. Его 4 ГМП первым из гвардейских минометных полков награжден орденом Красного Знамени (13.3.42). Находясь на важнейших и опасных участках фронта, он не раз сталкивался в ближнем бою с танками и мотопехотой, попадал под пулеметный огонь и удары авиации. В боях был контужен (26.6.1941) у станции Говье в Западной Белоруссии, легко ранен в бою под городом Лисичанск Ворошиловградской области (28.11.1941) и при воздушном налете в кисть правой руки и в скулу, когда руководил понтонной переправой в Ростове-на-Дону (24.7.1942).

Благодаря отличному знанию техники и глубокому осмыслению опыта применения ее в боях много сделал для совершенствования техники и организации боя. Разработал и широко применял методы стрельбы прямой наводкой, всегда грамотно организовывал разведку противника, боевое охранение и прикрытие, боепитание частей и подразделений, гибко использовал подчиненные ему войска для нанесения максимального урона врагу в обороне и в наступлении.