Родился в Солдатской слободе (ныне село Селезни Тамбовского района Тамбовской области). Был внебрачным сыном помещика от государственной крестьянки Татьяны Ивановны Карелиной.

В 1847 году был отправлен в Тамбов учиться иконописи. В 1857 году поступил в Санкт-Петербургскую академию художеств. В это же время начал заниматься фотографией. В 1864 году завершил учёбу и был удостоен звания свободного неклассного художника.

В 1865 году переехал из Санкт-Петербурга в Кострому. Там занимался портретной и церковной живописью, давал уроки живописи, и в это же самое время работал в фотомастерской М.П. Настюкова.

Вскоре переехал в Нижний Новгород, где открыл свою рисовальную школу и преподавал в ней практически до своего конца. В 1869 году открыл свою фотомастерскую «Фотография и живопись».

В 1873 году принял участие в VI Всемирной выставке художественной фотографии в Вене. В 1876 году за портреты и этюдные фотографии с натуры на Специальной выставке французского фотографического общества в Париже был награждён Большой серебряной медалью. Кроме того, получил бронзовую медаль на Всемирной международной выставке в Филадельфии, посвящённой 100-летию освобождения североамериканских Соединённых штатов, а на Специальной выставке Эдинбургского фотографического общества был награждён дипломом и золотой медалью Королевской академии в Эдинбурге. В 1878 году был принят в члены Французской национальной академии искусств. Был награждён дипломом Французского фотографического общества и золотой медалью на VIII Всемирной выставке в Париже. В 1879 году император Александр III пожаловал его золотой медалью для ношения на шее на Станиславской ленте «за полезное участие в Парижской Всемирной выставке». Отец Карелина Андрея Андреевича.

Скончался в Нижнем Новгороде, был похоронен на Крестовоздвиженском кладбище. Во второй половине 1950-х годов, в связи с ликвидацией кладбища, прах Карелина был перезахоронен на Бугровском кладбище.

Память: на доме, где проживал Карелин (Нижний Новгород, Нижегородский район, улица Варварская, 8) установлены памятная и аннатационная доски. 

​