Родился в Нижнем Новгороде в семье известного музыкального критика. Вскоре семья Гусман переехала в Москву. 
В 1931 году закончил музыкальное училище им. Гнесиных и поступил на военно-дирижёрский факультет Московской консерватории.
В годы учёбы начал работать в оркестре Музыкального театра им. В.И. Немировича-Данченко, затем в оркестре Московской филармонии. 
В 1942 году был назначен руководителем оркестра 4-го Украинского фронта. Давал концерты для частей фронта и населения на Украине, в Польше, Чехословакии и Германии. 
В 1946 году стал лауреатом Всесоюзного смотра молодых дирижёров в Ленинграде. 
1946-1957 - главный дирижёр Харьковского оркестра.
1957-1987 - возглавлял симфонический оркестр Горьковской филармонии. 
Один из главных организаторов первого в СССР фестиваля "Современная музыка", который регулярно проводился с 1962 года.
1963-1964 - работал в Большом театре, дирижировал операми "Пиковая дама" П.И. Чайковского и "Борис Годунов" М.П. Мусоргского. Как приглашённый дирижёр, выступал с крупнейшими симфоническими коллективами СССР (Государственным оркестром, Большим симфоническим оркестром Центрального телевидения, оркестром Ленинградской филармонии, государственными оркестрами Украины, Белоруссии, Балтии и другими).
С 1981 года - профессор Горьковской государственной консерватории.
Заслуженный деятель искусств РСФСР (04.11.1965). Народный артист РСФСР (07.08.1978). 
Почётный гражданин Нижегородской области (23.07.1996). 

Муж актрисы Дроздовой Лилии Степановны.
Жил в Нижнем Новгороде, похоронен на Бугровском кладбище.
Награды: ордена Отечественной войны 1-й (1985) 2-й (27.05.1945) степени; Трудового Красного Знамени.
Память: на доме, где он жил (Нижний Новгород, Нижегородский район, улица Варварская, 6), установлена памятная доска.