В миру его звали Гавриил Гомзин. Родился он 20 марта 1844 года в Звенигороде, в семье стекольщика Симеона и его жены Марфы; в семье росли три дочери и пятеро сыновей. Четырёх лет мальчик остался без матери, растила его тётка. Учиться дальше начальной школы не пришлось: денег на учебники в семье не нашлось, и потом отец Герман вспоминал об этом с сожалением. Когда ему исполнилось девять, отец ушёл в Гефсиманский скит Троице-Сергиевой лавры и принял постриг, а сын почти два года прислуживал в кабачке у брата.

Потом другой брат забрал его в Москву и отдал в ученики к живописцу. Четыре года у одного мастера, потом ещё четыре года у другого — и Гавриил научился писать самостоятельно. Москва доделала остальное: он молился в кремлёвских соборах и монастырях, читал святителей Тихона Задонского и Димитрия Ростовского и в двенадцать лет уже твёрдо знал, что будет монахом. У постели умирающего отца пятнадцатилетний Гавриил мысленно попросил благословения уйти в монастырь вместо него. Родные звали его в торговые дела, но он ответил просто: спасайтесь, если можете, а я не могу.

20 февраля 1868 года он поступил в Гефсиманский скит. Сначала был в послушании у старца Тихона, потом перешёл к иеросхимонаху Александру, ушедшему в затвор, и келейничал при нём. Своё ремесло он скрыл, надеясь на кухонное послушание, но правда открылась, и его поставили писать иконы. Первым был Черниговский образ, помещённый на колокольню; всего он написал двадцать четыре иконы. Однажды в Киеве он увидел в часовне почитаемый чудотворным образ и узнал свою работу и свою подпись. В 1877 году его постригли в мантию с именем Герман, в честь святителя Германа Казанского. После смерти старца он девять лет искал себе руководителя и переписывался со святителем Феофаном Затворником; эта переписка о молитве потом вышла отдельной книжкой.

Главное началось в 1897 году. Отец Герман с тринадцатью учениками ушёл из Гефсиманского скита в Зосимову пустынь — бедную, с горькими щами из сырой капусты и пустой ризницей. На другой же день он ввёл там уставную службу. При нём выросли три храма, братские корпуса, кирпичная ограда и трёхъярусная колокольня с курантами. Но строил он не только камень: землю вокруг скупал, чтобы рядом не появились дачи, шоссе к станции не провёл, чтобы монахов не тревожил шум, а каждому иноку устроил отдельную келью. Работать благословлял всех, не исключая старших, — не ради прибытка, а потому что труд с молитвой гасит страсти. В 1902 году его возвели в игумены. Через год после его прихода здесь принял постриг бывший протопресвитер кремлёвского Успенского собора — будущий старец Алексий Зосимовский.

К зосимовским старцам ехала вся Россия: крестьяне и офицеры, священники и промышленники, великая княгиня Елисавета Феодоровна и сёстры Марфо-Мариинской обители. Пустынь называли Северной Оптиной. Сам отец Герман каждый день был в храме, спал в подряснике, то и дело вставая на поклоны, и говорил, что для инока умереть в храме — счастье. Пережил он и изгнание: после ропота части братии его перевели в Махрищский монастырь, но через два месяца, после заступничества известных людей и великой княгини, вернули обратно. В 1916 году принял великую схиму.

Умер он вечером 17 января 1923 года, и последние его слова были о том, что всем нужно готовиться в небесные обители. Старец предсказывал, что при его жизни обитель не закроют, — Зосимову пустынь закрыли через два месяца после погребения. Прославлен он в 2000 году, мощи хранятся в соборе пустыни. Преподобных принято писать в монашеском облачении, со свитком или чётками в руке; имя надписывают рядом с ликом.