Родился в Нижнем Новгороде в семье мелкого чиновника.

Окончив Нижегородскую гимназию, поступил на историко-филологический факультет Казанского университета, который окончил в 1837 году.

В 1840 году отправился в Пекин и прожил там безвыездно больше девяти лет, посвящая всё своё время изучению языков - китайского, тибетского, санскритского, монгольского и маньчжурского. 

В 1850 году возвратился из Китая, а через год был назначен в Императорский Казанский университет профессором по кафедре китайской и маньчжурской словесности. 

В 1855 году был переведён в Санкт-Петербургский университет.

Член-корреспондент Санкт-Петербургской Академии наук (09.12.1866). Академик Санкт-Петербургской Академии наук (11.01.1886).

В своих трудах Васильев впервые в отечественной науке предпринял попытку систематического изложения истории развития буддийской мысли. Кроме того, он был в числе первых востоковедов, поставивших вопрос о выработке адекватного языка описания буддийского духовного опыта, о критериях выбора аналогов для перевода категорий буддийского учения на европейские языки, в частности, о возможности применения таких понятий, как «спасение», «подвижничество», «святость», «божественное», «духовное», «плотское», «грех», к буддийским реалиям.

Основные труды: «Маньчжурско-Русский словарь» (1866); «Анализ китайских иероглифов» (1866); «Китайская хрестоматия», в трёх томах (1868); «Графическая система китайских иероглифов. Опыт первого китайско-русского словаря» (1867); «Примечания на третий выпуск китайской хрестоматии. Перевод и толкования Шицзина» (1882); «Примечания на второй выпуск китайской хрестоматии. Перевод и толковании Лунь-юй’я» (1884); «Анализ китайских иероглифов. Ч. II. Элементы китайской письменности» (1884); «Очерки истории китайской литературы» (1885); «Материалы по истории китайской литературы. Лекции, читанные студентам С.-Петербургского университета» (1888). 

Жил и умер в Санкт-Петербурге. Был похоронен вблизи Крестовоздвиженской церкви в селе Каинки, ныне Верхнеуслонского района Республики Татарстан.

​