Родился в Минске, ныне Республика Беларусь, в семье юриста. В том же году семья переехала в Петроград.
Окончил экстерном физико-математический факультет Ленинградского государственного университета (1934) и физико-механический факультет Ленинградского политехнического института (1938).
С 1938 года заведовал лабораторией в Институте химической физики АН СССР. В 1946-1948 годах - начальник теоретического отдела этого института.
С февраля 1948 по октябрь 1965 года работал в КБ-11 в Арзамасе-16 (ныне город Саров Нижегородской области) - начальник отдела, отделения, заместитель научного руководителя.
1965-1983 - заведующий отделом Института прикладной математики АН СССР. С 1965 года и до конца жизни - профессор физического факультета МГУ.
1984-1987 - заведующий отделом релятивистской астрофизики Государственного астрономического института им. П.К. Штернберга.
Один из создателей атомной (1949) и водородной (1953) бомбы в СССР.
Член-корреспондент АН СССР (04.12.1946). Академик АН СССР (20.06.1958).
Трижды Герой Социалистического Труда (29.10.1949, 04.01.1954, 11.09.1956).
Лауреат Сталинской премии (1943, 1949, 1951, 1953).
Лауреат Ленинской премии (1956).
Область научных интересов: физика горения и взрыва, детонация, ядерная физика, астрофизика, космология. Внёс крупнейший вклад в развитие теории горения. Наиболее значимой работой Зельдовича по астрономии стала нелинейная теория образования структуры Вселенной, более известная как теория «блинов». 
Автор монографий «Теория тяготения и эволюция звёзд», «Строение и эволюция Вселенной», учебника «Высшая математика для начинающих и её приложения к физике» (1963), 490 научных работ.
Жил в Москве, похоронен на Новодевичьем кладбище.
Награды: ордена Ленина (29.10.1949, 07.03.1962, 07.03.1974); Октябрьской революции (07.03.1984); Трудового Красного Знамени (10.06.1945, 07.03.1964); «Знак Почёта» (07.03.1954).
Память: в городе Сарове на здании ВНИИ экспериментальной физики (проспект Мира, 37), где он работал, установлена памятная доска.