Родился в деревне Филиппово, ныне Бутурлинского района Нижегородской области, в крестьянской семье.

После окончания в 1911 году церковно-приходской школы начал трудовую деятельность в городе Санкт-Петербурге в акционерном обществе «Сименс и Гальске» учеником фабрики «Отто Кирхнер», с 1913 года работал на электромеханическом заводе «Гейслер», затем - служащим в управлении бывшими частными банками.

В мае 1916 года был призван в армию рядовым 180-го запасного пехотного полка в городе Петроград, участник Февральской революции 1917 года.

В Красной Армии с 1918 года.

В том же году окончил 2-е Петроградские артиллерийские командные курсы.

В Гражданскую войну - командир артиллерийской батареи, участвовал в боях на Северном и Западном фронтах.

После войны командовал артиллерийским дивизионом, затем полком, был начальником артиллерии дивизии и корпуса.

Окончил поочерёдно Военную артиллерийскую школу, Артиллерийские курсы усовершенствования командного состава РККА, Военную академию им. М.В.Фрунзе и Курсы усовершенствования высшего начальствующего состава РККА.

В Великую Отечественную войну генерал-майор артиллерии Казаков вступил начальником артиллерии механизированного корпуса, в июле 1941 года был назначен начальником артиллерии 16-й армии Западного фронта.

С июля 1942 года - начальник артиллерии Брянского, а с октября – Донского фронтов.

С февраля 1943 года - командующий артиллерией Центрального, затем Белорусского и 1-го Белорусского фронтов.

Участвовал в планировании и ведении оборонительных и наступательных операций на Курской дуге и в битве за Днепр, умело руководил боевыми действиями артиллерии в Белорусской (операция «Багратион»), Висло-Одерской и Берлинской стратегических операциях.

Под его руководством в Бобруйской операции был применён метод артиллерийской поддержки – двойной огневой вал.

Звание Героя Советского Союза присвоено 6 апреля 1945 года.

После войны генерал-полковник артиллерии Казаков - командующий артиллерией Группы советских оккупационных войск в Германии (до марта 1950 года), затем заместитель, первый заместитель и командующий артиллерией Советской Армии.

Маршал артиллерии (11.03.1955).

В 1958 году Казаков создал новый род войск - противовоздушной обороны Сухопутных войск, и стал его первым начальником.

С 1965 года - военный инспектор-советник Группы генеральных инспекторов Министерства обороны СССР.

Депутат Верховного Совета СССР 2-го созыва (1946-1950).

Жил в Москве, похоронен на Новодевичьем кладбище.

Награды: ордена Ленина (08.10.1942, 21.02.1945, 06.04.1945, 30.07.1958); Красного Знамени (12.04.1942, 27.08.1943, 03.11.1944, 24.06.1948, 22.02.1968); Суворова 1-й степени (29.07.1944, 18.11.1944, 29.05.1945); Кутузова 1-й степени (08.02.1943); Суворова 2-й степени (02.10.1943); Красной Звезды (16.08.1936).

Память: его имя носят улица  и сквер в Московском районе Нижнего Новгорода, улица в посёлке городского типа Бутурлино Нижегородской области. В селе Филиппово Бутурлинского района установлен бюст.