Будущий святитель родился 21 мая 1878 года в селе Золотом Камышинского уезда Саратовской губернии, в семье псаломщика Троицкой церкви Александра Островидова и его жены Анны. В крещении его назвали Константином. Он окончил Камышинское духовное училище, Саратовскую семинарию по первому разряду и в 1899 году поступил в Казанскую духовную академию. Уже студентом его знали как человека с гуманитарной жилкой: словесность, философия, психология, студенческий философский кружок, где он был товарищем председателя. Академию окончил в 1903-м кандидатом богословия.

В июне того же года епископ Антоний (Храповицкий) постриг его в мантию с именем Виктор; на следующий день последовало рукоположение во иеродиакона, а ещё через день — во иеромонаха. Молодого монаха направили в Хвалынск настоятелем устраиваемого там Свято-Троицкого подворья. В 1904 году он прочитал в Саратове три публичные лекции о «недовольных людях» в произведениях Горького; зал был переполнен. Позже лекции вышли отдельной книгой. Год спустя его назначили старшим иеромонахом Иерусалимской духовной миссии, и до 1908 года он жил в Иерусалиме.

Осенью 1918 года архимандрит Виктор стал наместником Александро-Невской лавры в Петрограде, а в декабре 1919-го был хиротонисан во епископа Уржумского, викария Вятской епархии. В Вятке он первым делом наладил общенародное пение, много проповедовал — и почти сразу был арестован. С 1921 года он епископ Глазовский с местопребыванием в Вятском Успенском Трифоновом монастыре. Когда в 1922 году начался обновленческий раскол, владыка обратился к пастве с посланием и признать обновленческое управление отказался, сославшись на церковные каноны. В феврале 1923 года его приговорили к трём годам ссылки в Нарымский край.

В феврале 1928 года епископ написал «Послание к пастырям», в котором разбирал вопрос о границах между лояльностью верующих к государству и зависимостью самой Церкви от гражданской власти. Через месяц последовало распоряжение об аресте; 18 мая 1928 года его приговорили к трём годам лагеря. Владыка попал на Соловки и работал там бухгалтером канатной фабрики. Сохранились воспоминания сидевших с ним: спокойный, приветливый, со светлой улыбкой, он говорил, что каждого человека надо чем-нибудь утешить, и раздавал приходившие ему посылки почти целиком.

На волю его так и не отпустили. В 1931 году — ссылка в Коми, в Усть-Цильму; в мае 1933-го — новый срок и глухое село Нерица на притоке Печоры. Храма там давно не было, работа его состояла в пилке и колке дров, а молиться он уходил далеко в лес. Зимой 1933–1934 годов в тех местах был голод; посылки от духовных детей из Вятки и Глазова владыка почти целиком раздавал соседям и каждый день носил еду умиравшей от болезни двенадцатилетней дочери хозяев. В конце апреля 1934 года он заболел, и 2 мая преосвященный Виктор скончался. Похоронили его на маленьком сельском кладбище в Нерице — как выяснилось потом, промыслительно: кладбище в районном селе впоследствии срыли.

1 июля 1997 года мощи святителя были обретены и перенесены в Вятку; с 2005 года они почивают в Преображенском монастыре в центре города. Архиереев на иконах принято писать в облачении, с Евангелием в руке и благословляющим жестом; у новомучеников лик пишут по фотографиям. Память совершается дважды — 2 мая, в день кончины, и 1 июля, в день обретения мощей; для Викторов оба дня именинные.