Будущий патриарх родился около 1530 года в семье донских казаков и в миру носил имя Ермолай. Служение своё он начал простым приходским священником в Казани, при гостинодворской церкви святителя Николая. Современники отзывались о нём как о человеке редкой начитанности и чистой жизни.

В 1579 году именно ему довелось первым поднять из земли обретённую Казанскую икону Божией Матери, показать её народу и с крестным ходом перенести в ближний Никольский храм. Он же составил службу этому образу и «Сказание о явлении Казанской иконы»; ему принадлежит и тропарь «Заступнице Усердная». О себе в «Сказании» он написал со смирением — что был каменносердечен, но прослезился, припав к образу.

Вскоре священник Ермолай принял постриг с именем Ермоген, был назначен архимандритом казанского Спасо-Преображенского монастыря, а в 1589 году стал первым митрополитом Казанским. На кафедре он много занимался проповедью среди язычников и мусульман, добился установления особого поминовения воинов, павших под Казанью, и участвовал в обретении мощей святителей Гурия и Варсонофия, а затем сам составил их жития.

13 июля 1606 года собор святителей возвёл его на патриарший престол в Успенском соборе Кремля. Правление его совпало со Смутой. Когда самозванец встал под Москвой в Тушине, патриарх отправил изменникам два послания, где писал, что душа его болит и сердце разрывается, и заклинал их одуматься, пока есть время. Он открыл монастырские житницы для голодающих, поддержал оборону Троице-Сергиевой обители, выдержавшей шестнадцатимесячную осаду, и без устали рассылал по городам грамоты.

Когда бояре потребовали от него грамоты с призывом положиться на волю польского короля Сигизмунда, патриарх отказался наотрез и пригрозил анафемой. По его благословению из Казани принесли список Казанской иконы, ставший главной святыней ополчения. Поляки и изменники силой свели его с престола и заключили под стражу в Чудовом монастыре. Оттуда, уже из заточения, он послал последнее обращение к народу, благословив освободительную войну. Осаждённые в Кремле грозили ему казнью, требуя, чтобы он велел ополчению отойти; он отвечал, что боится одного Бога. Более девяти месяцев патриарх провёл в тяжком заточении и 27 февраля 1612 года скончался от голода и жажды.

Через сорок лет, при вскрытии раки в 1652 году, тело его нашли нетленным и перенесли в Успенский собор Кремля. Прославление состоялось 25 мая 1913 года, к трёхсотлетию кончины. Церковь совершает память 2 марта — в день преставления — и 25 мая, в день прославления. Пишут святителя в патриаршем облачении и белом клобуке, с посохом в руке.