Будущего архиепископа звали в миру Иустином Львовичем Ольшевским. Он был сыном диакона Льва Ольшевского и родился 1 июня 1860 года в Косовке — селе Сквирского уезда Киевской губернии; при крещении его нарекли Иустином. В Киевской духовной семинарии на юношу обратили внимание за прилежание и молитвенный склад души и рекомендовали в чтецы к богослову архимандриту Сильвестру (Малеванскому). У того было слабое зрение, и Иустин, по его собственному выражению, стал для учёного монаха очами и пером: при его помощи были написаны первые два тома пятитомного «Догматического богословия». Долгие годы совместной работы связали ученика и наставника на всю жизнь.

Летние каникулы Иустин проводил в родном селе, где почти всё население было захвачено штундизмом. Молодой богослов стал внимательно изучать быт и взгляды сектантов — и решил посвятить себя миссионерству. Он учительствовал в бедных сёлах, изложил свои соображения в записке митрополиту Киевскому Платону, и в 1889 году был назначен епархиальным миссионером. Для того времени это было редкостью: миссионерами обычно ставили только людей в священном сане. Его труд «Обличение штунды в библейских текстах» потом много раз переиздавали как пособие для миссионеров и приходских пастырей.

В 1890 году епископ Полтавский Иларион пригласил его преподавать в семинарии и быть епархиальным миссионером; с Полтавской епархией оказались связаны следующие двадцать с лишним лет. В 1892 году Иустин Львович согласился принять сан пресвитера с одним условием: рукоположить его неженатым. Синод разрешил, и с этого дня он, по словам современников, повёл жизнь настоящего монаха в миру. Он устраивал в Полтаве богословские чтения для интеллигенции — из них выросла книга «В вере ли вы?», — основал братство законоучителей и педагогов памяти отца Иоанна Кронштадтского, издавал патерик и собственные труды, а с 1896 года был епархиальным наблюдателем церковных школ.

Принять архиерейство ему предлагали не раз, и всякий раз он по смирению отказывался. Согласился только в конце 1910 года. 23 декабря его постригли в мантию с именем Сильвестр — в память преподобного Сильвестра Печерского, на Рождество возвели в сан архимандрита, а 16 января 1911 года в Александро-Невской лавре состоялась хиротония во епископа Прилукского. При наречении он сказал слова, оказавшиеся пророческими: Церковь ныне подобна кораблю среди великого волнения, для верных наступают времена исповедничества, и потому трудно и страшно теперь архипастырствование.

В 1914 году его назначили епископом Челябинским, а летом 1915-го — епископом Омским и Павлодарским. Перед вступлением на новую кафедру владыка по своему обыкновению поехал помолиться у мощей святителя Иннокентия в Иркутске и в августе прибыл в Омск. Он был постоянным участником Поместного Собора 1917–1918 годов.

В январе 1918 года вышел декрет об отделении Церкви от государства, и по призыву Собора по городам пошли крестные ходы. Омский возглавил владыка Сильвестр: шествие останавливалось у каждого храма, он служил молебен и просил народ хранить веру и защищать церкви. Через день, в третьем часу ночи, к архиерейскому дому подошёл вооружённый отряд. Двери не открыли, и тогда с соборной колокольни ударили в набат; на звон откликнулись другие церкви, к дому сбежался народ. Владыку всё же схватили, не дав надеть тёплую одежду, и по сибирскому морозу повели в Совет депутатов; при этом был убит эконом архиерейского дома Николай Цикура. Город поднялся: закрылись учреждения и магазины, люди требовали освободить епископа. Через два дня его отпустили под подписку о невыезде — из-за неё он и не смог поехать на Собор в Москву. Весной 1918 года Патриарх Тихон возвёл его в сан архиепископа.

В ноябре 1918 года совещание сибирских архипастырей в Томске образовало Высшее Временное Церковное Управление Сибири, и во главе его по общему желанию встал владыка Сильвестр. При нём Церкви вернули земли и собственность, в школах снова стали преподавать Закон Божий, возобновили работу пять семинарий и пять духовных училищ. В январе 1919 года он привёл к присяге адмирала Колчака как Верховного правителя; весной и летом объехал сибирские епархии, произнеся более ста проповедей, и восстановил институт полковых священников.

О последних месяцах его жизни рассказывают по-разному. По одной версии владыка был арестован в конце 1919 года и погиб от пыток. По другой — его изгнали из архиерейского дома, он поселился у настоятеля Успенского собора священника Феодора Чемагина, тяжело заболел и скончался 10 марта 1920 года; похоронили его в склепе при кафедральном соборе. Найденные позже в Омском архиве документы — запись акта о смерти и письмо очевидца — говорят в пользу второй версии. Собор впоследствии разрушили, на его месте разбили сквер, и только летом 2005 года при раскопках фундамента нашли склеп, гроб и икону с дарственной надписью архиепископу, а рядом остатки облачения и параман.

По благословению Патриарха Кирилла с 2018 года владыка именуется священноисповедником, и память его перенесена на 10 марта.