Родился в Нижнем Новгороде в семье капитана буксирного парохода и оперной певицы.
С 1912 года учился в Александровском кадетском корпусе (Императорский Александра II кадетский корпус в Санкт-Петербурге). В октябре 1917 года вступил в Красную гвардию. С 1918 года работал курьером в конторе «Профсохлеб» Народного Комиссариата продовольствия.
С мая 1919 года - в Красной Армии. Воевал на Южном фронте, разведчиком стрелкового полка, был контужен в бою. 
После демобилизации в октябре 1920 года, работал в Центральном управлении снабжения Красной Армии и Флота - курьером, в Центропечати - агентом, в Волгосудстрое - на сплаве леса, агентом и в 5-м Волжском полку ГПУ в Нижнем Новгороде - электромонтёром.
1924-1933 - служил в ОГПУ в особых отделах и на оперативной работе, занимал должности от уполномоченного до начальника отделения.
В 1932 году окончил лётную школу ОСОАВИАХИМа.

1933-1941 - работал в «Аэрофлоте»: пилот, командир отряда, начальник управления, шеф-пилот. В январе 1935 года был назначен начальником Восточно-Сибирского управления Гражданского воздушного флота в городе Иркутске. С 1937 года - лётчик в Московском управлении гражданской авиации. Вскоре стал шеф-пилотом эскадрильи особого назначения.
Участвовал в боевых действиях на Халхин-Голе и в Советско-финской войне.
В феврале 1941 года был назначен командиром полка дальнебомбардировочной авиации, с августа 1941 года - командиром авиационной дивизии дальнего действия. В декабре 1941 года назначен командиром 3-й авиадивизии дальнего действия Ставки Верховного Главнокомандования. В феврале 1942 года назначен командующим авиацией дальнего действия (АДД) Ставки Верховного Главнокомандования и руководил ей до конца войны. С декабря 1944 года - командующий 18-й воздушной армией, в которой была собрана вся дальнебомбардировочная авиация.
Лично участвовал в осуществлении дальних бомбардировочных рейдов, в т.ч. в бомбардировке Берлина на начальном этапе Великой Отечественной войны.
Главный маршал авиации (19.08.1944). Являлся самым молодым маршалом рода войск в истории Красной Армии.
Окончил общевойсковой факультет Академии Генерального штаба с золотой медалью и курсы «Выстрел» (1950).
1952-1953 - командир гвардейского воздушно-десантного корпуса.
Депутат Верховного Совета СССР 2-го созыва (1946-1950).
С 1953 года в запасе. С 1958 года работал заместителем начальника НИИ Гражданской авиации по лётной службе. С 1966 года на пенсии.
Жил в Москве, похоронен на Новодевичьем кладбище.
Награды: ордена Ленина (17.04.1940, 20.06.1949); Красного Знамени (17.11.1939, 20.10.1941, 03.11.1944); Суворова 1-й степени (28.01.1943, 17.04.1945, 18.08.1945); Красной Звезды (22.02.1968); медали, в т.ч.  «За отвагу» (28.10.1967).

Память: именем Маршала Голованова названа улица в Приокском районе Нижнего Новгорода.

​