Родом преподобный Герман был из города Тотьмы Пермской епархии. Родители сами грамоте его не выучили, зато воспитали в строгом благочестии. Летом, вероятно, 1428 года он вместе с рыболовами впервые побывал на Соловецком острове. Место показалось ему подходящим для отшельнической жизни, но остаться там одному он не решился и вернулся на Поморский берег, где жил при часовне на реке Выг.

Там он и встретил преподобного Савватия, искавшего уединения. Около 1429 года они заготовили ладью, припасы и орудия для земли и переселились на пустынный остров. Келью поставили под Секирной горой, в версте от берега. Так прошло около шести лет. В 1435 году Герман уехал на материк за припасами, а Савватий в это время отошёл ко Господу. Вскоре Господь привёл на остров другого пустынника — юного Зосиму, и в 1436 году они положили начало общежительному монастырю.

Подвигом Германа был будничный труд. Морские переходы, стройка храмов вместе с братией, северная непогода — всё это он нёс больше сорока лет. Сам он был некнижным, но цену памяти понимал: попросил записать всё, что помнил о Савватии и о том, как они вдвоём пришли на остров. Этими записями потом воспользовался его ученик Досифей, составляя житие Зосимы и Савватия. А ученикам преподобный завещал собирать в обитель книги.

Смерть застала его в дороге, на монастырской службе. В 1479 году игумен Арсений послал старца в Новгород; там, в обители Антония Римлянина, Герман почувствовал близкую кончину, исповедался, причастился и мирно умер. Отвезти тело на острова помешала распутица, и погребли его на берегу Свири. Через пять лет, при игумене Исаии, братия перенесла мощи в обитель и положила рядом с мощами Савватия. Над могилой поставили часовню, а в 1860 году освятили каменный храм в его честь. Церковное почитание установлено с 1692 года, по благословению патриарха Иоакима.

Около 1602 года преподобный явился священнику Григорию, служившему в Тотьме, и велел написать свой образ вместе с Зосимой и Савватием, а также сложить ему тропарь. Священник исполнил сказанное, и приходившие к этой иконе с верой получали исцеления от недугов. Так и повелось: троих соловецких основателей чаще пишут вместе, в монашеском одеянии. Ныне мощи Зосимы, Савватия и Германа почивают в церкви Благовещения Пресвятой Богородицы.