Родился в городе Балашихе, ныне Московской области, в семье служащего. 

Окончил трёхлетнее уездное училище в городе Романово-Борисоглебске (ныне г. Тутаев Ярославской области), затем Ярославскую гимназию (сиротский дом).

В 1880 году поступил на математическое отделение физико-математического факультета Московского университета, где изучал астрономию у профессора Ф. А. Бредихина. Во время учёбы работал в магазине оптических инструментов Швабе на Кузнецком Мосту. В 1884 году блестяще защитил, получив золотую медаль, кандидатское сочинение «Равновесие и движение твёрдых материальных прямых» и получил назначение на место учителя физики и математики в Нижегородской гимназии.

Выступил с предложением создать в Нижнем Новгороде первый в России и второй в мире кружок любителей физики и астрономии (НКЛФА). Кружок был создан 23 октября 1888 года, а в 1891 году Щербаков стал его председателем правления. 

В 1895 году организовал издание первого в России астрономического ежегодника - «Русского астрономического календаря». 

С 1899 года - член-корреспондент Русского Астрономического Общества, председатель оргкомитета первого Московского Съезда Физиков. В 1900 году был избран почётным членом Московского общества испытателей природы.

Автор «Курса космографии» для средних учебных заведений и кадетских корпусов. С 1902 по 1916 год этот учебник выдержал 12 изданий. 

С 1900 года - директор Нижегородской женской гимназии. 

С 1906 по 1918 год - директор Калужской мужской Николаевской гимназии (ныне Калужский государственный университет им. К.Э. Циолковского). 

Жил в городе Калуге, похоронен на Пятницком кладбище.

Награды: ордена Св. Владимира 3-й степени; Св. Анны 2-й и 3-й степени.