22 января 1924 года газета «Красная звезда» сообщила: «Приказом Союзного Реввоенсовета начальник ПУРа тов. Антонов-Овсеенко освобожден от занимаемой должности. Вновь назначенный на эту должность тов. Бубнов вчера приступил к исполнению своих обязанностей».
Вместе с М. В. Фрунзе, К. Е. Ворошиловым, М. Н. Тухачевским, П. И. Барановым и другими виднейшими военными деятелями А. С. Бубнов возглавил борьбу армейских коммунистов с фракционерами. «Для меня единство партии — это не пустой звук, — заявлял он в письме XIII съезду РКП(б), — для меня всякая оппозиция представляется делом вредным, а всякие попытки организованной оппозиции делом, безусловно, антипартийным, то есть преступным».
С большим вниманием в партийных кругах встретили это письмо А. С. Бубнова, а также его статьи «Как тов. Преображенский опровергает тов. Преображенского» и «Фракционная перепутаница», опубликованные в «Правде». В них автор резко отмежевывался от всевозможных фракций, выступал за единство партии, показывал несостоятельность взглядов лидеров оппозиции.
А. С. Бубнов активно боролся против попыток троцкистов исказить и принизить роль В. И. Ленина в создании Коммунистической партии, Советского государства и Вооруженных Сил. Большое значение для пропаганды ленинизма, отпора троцкистским выпадам имела работа комиссии Реввоенсовета СССР по увековечению памяти В. И. Ленина под председательством А. С. Бубнова.
Разоблачению троцкизма способствовали также многочисленные доклады, научные труды Андрея Сергеевича, написанные им в 1924–1925 годах. 27 марта 1924 года он выступил против фракционности на собрании партийных ячеек Военной академии РККА, в мае подверг резкой критике сторонников Троцкого в докладе на IX Всекрымской областной партийной конференции, в августе разоблачал троцкизм в докладе на партконференции Ленинградского военного округа…
Решительный бой троцкизму в свете требований XIII съезда РКП(б) армейские коммунисты дали на совещании начальников политорганов, проходившем 17–22 ноября 1924 года под председательством А. С. Бубнова. Заслушав и обсудив доклад Андрея Сергеевича, совещание определило, что троцкисты стремятся свести на нет роль партии в военном строительстве. Троцкизм был квалифицирован как разновидность меньшевизма. Совещание обратилось в Центральный Комитет партии с просьбой рассмотреть на ближайшем пленуме ЦК вопрос о троцкизме и пребывании Троцкого на высших военных должностях. Предложения совещания совпали с мнением Московского комитета партии, их поддержали парторганизации Киева, Минска, Баку, Тифлиса и многих других городов.
Учитывая мнение армейских коммунистов и крупнейших партийных организаций страны, январский (1925 г.) пленум ЦК РКП(б) освободил Троцкого от должности председателя Реввоенсовета и наркомвоенмора СССР, назначив на эти посты М. В. Фрунзе. В соответствии с указаниями пленума Политуправление Красной Армии специальным циркуляром предложило политорганам продолжать работу по разоблачению троцкизма.
Андрей Сергеевич считал, что усиление партийного влияния на все стороны жизни и деятельности войск должно стать самой существенной чертой начавшейся в 1924 году военной реформы. В связи с этим он требовал укреплять и повышать роль политорганов и партийных организаций в Вооруженных Силах. Называя партию вождем Красной Армии, А. С. Бубнов подчеркивал: «Наша армия крепка именно потому, что крепка наша партия и наша военная партийная организация. Заслуги партии и всех партийно-политических органов в армии в деле политического воспитания командного состава громадны. Именно в силу этого мы должны и можем инициативу дальнейшего проведения единоначалия взять на себя и осуществлять ее таким образом, чтобы укреплять руководящее значение Коммунистической партии в Рабоче-Крестьянской Красной Армии».
Противники усиления партийного влияния в армии и на флоте выступали за передачу отдельных функций политорганов местным комитетам партии, а порой требовали даже полной их ликвидации, вывода коммунистов из состава армии и флота. Протестуя против этого, А. С. Бубнов говорил, что система руководства Вооруженными Силами со стороны Коммунистической партии не может быть ликвидирована. «Внутри этой системы могут происходить различные изменения (например, упразднение института комиссаров, повышение роли комсостава и пр.), но сама она, ее предназначение, цель, основа, содержание сохранится незыблемо. Если «Советы без коммунистов!» — это контрреволюция, то и Красная Армия без коммунистов — это тоже контрреволюция».
Предложения А. С. Бубнова вошли в разработанный под его руководством проект постановления Оргбюро ЦК РКП(б) «О взаимоотношении политаппарата Красной Армии и Флота и парторганизаций», имевшего большое значение для укрепления армейских партийных организаций и политорганов.
На дальнейшее повышение роли партии в Вооруженных Силах влияли и такие мероприятия: введение в сентябре 1925 года в действие Положения о Политуправлении РККА, согласно которому ПУР получил права отдела ЦК РКП(б); включение на XIV съезде ВКП(б) в Устав партии специального раздела «О парторганизациях Красной Армии»; избрание начальника ПУ Ра А. С. Бубнова секретарем Центрального Комитета партии и другие.
Укреплению партийных организаций Красной Армии и Флота способствовали I и II Всеармейские совещания секретарей партийных ячеек, проведенные в 1925 и 1928 годах под непосредственным руководством А. С. Бубнова, при участии М. В. Фрунзе и К. Е. Ворошилова, Отныне эти форумы армейских коммунистов стали традиционными.
В период нахождения А. С. Бубнова на посту начальника Политуправления РККА много нового было внесено в теорию и практику партийно-политической работы в войсках. Так, своеобразным итогом деятельности политорганов под руководством А. С. Бубнова по совершенствованию партийно-политической работы можно считать введение в 1927 году (впервые в истории) в «Боевой устав пехоты РККА (часть II)» специальной главы «Политическая работа в боевой обстановке». В 1929 году глава «О политическом обеспечении боевой деятельности войск» вводится в «Полевой устав РККА».
Важное место в системе партийно-политической работы среди личного состава стали занимать возникшие вскоре после гражданской войны Дома Красной Армии и Флота. Широкое, повсеместное создание окружных и гарнизонных Домов Красной Армии приходится на 1924–1928 годы. В марте 1924 года А. С. Бубнов возглавил комиссию по созданию Центрального Дома Красной Армии (ЦДКА) в Москве, а с апреля 1927 по сентябрь 1929 года он руководил Советом ЦДКА имени" М. В. Фрунзе. Один из сотрудников ЦДКА вспоминал: «Андрей Сергеевич был основным и главным инициатором по созданию и организации ЦДКА и сил с энергией Андрей Сергеевич положил гораздо больше на ЦДКА, чем кто-либо…»
Большой вклад внес А. С. Бубнов в осуществление партийных решений о введении единоначалия в Вооруженных Силах, что являлось одним из основных мероприятий военной реформы. По поручению Центрального Комитета партии он в феврале 1924 года глубоко изучает этот важнейший вопрос военного строительства, приходит к выводу, что к введению единоначалия Красная Армия вполне готова, что вводить единоначалие надо постепенно, по мере подготовки командиров и политработников в каждой части.
Эти адресованные Центральному Комитету партии предложения были разосланы для ознакомления многим видным военным и политическим деятелям, а в дальнейшем послужили основой для ряда руководящих документов. В тоне 1924 года А. С. Бубнов назначается председателем комиссии Оргбюро ЦК РКП(б) по военным вопросам, на которую в числе других важнейших задач военной реформы возлагалось введение единоначалия.
2 марта 1925 года пленум Реввоенсовета СССР заслушал его доклад о подготовке к намечаемой реорганизации. Обсудив сообщение, Реввоенсовет издал приказ о введении единоначалия, в который вошли основные положения разработанной при участии Бубнова в декабре 1924 года инструкции по этому вопросу. Введение единоначалия продолжалось до конца 1928 года. Одним из завершающих его моментов стало утверждение Реввоенсоветом СССР подписанного А. С. Бубновым «Положения о военных комиссарах, командирах-единоначальниках и помполитчасти».
Единоначалие значительно укрепило Вооруженные Силы, повысило авторитет, активизировало инициативу командиров и политработников в обучении и воспитании советских воинов.
Под непосредственным руководством А. С. Бубнова Политуправление РККА ставило и решало многие другие вопросы военной реформы. Только за полтора года между XIII и XIV съездами партии по просьбе и предложению Политуправления Центральный Комитет РКП(б) рассмотрел более 90 принципиальных вопросов советского военного строительства.
Большое внимание Андрей Сергеевич уделял армейскому комсомолу.