В миру подвижника звали Матфеем Кириченко. По бумагам он числился мещанином города Суджи Курской губернии, но родным местом была слобода Басевка, где жили его родители — люди благочестивые и не бедные; брат впоследствии управлял богатым помещичьим имением.

В Глинскую пустынь Матфей пришёл в 1831 году, на тридцать первом году жизни, при настоятеле Филарете. Первое послушание он проходил в братской поварне — там поваром был известный подвижник, блаженный старец Феодот, и молодому послушнику было с кого брать пример. Летом 1835 года его причислили к указным послушникам обители.

Он приучил себя к молчанию: без нужды не говорил ни слова, а по делу отвечал коротко. Чтобы ум был постоянно занят словом Божиим, Матфей выучил наизусть всю Псалтирь и читал её при любой работе — колол ли дрова, носил ли воду, сгребал ли сено. Летом 1840 года настоятель Филарет постриг его с именем Мартирий.

Нестяжание старца было полным: лишней одежды он не держал, а денег просто не желал видеть. Родному брату, человеку состоятельному, он запретил жертвовать в ту обитель, где живёт сам, — чтобы не иметь от этого никакой чести. Долгое послушание Мартирий нёс на дальней монастырской мельнице, в версте от обители. Оттуда трудно было ходить на службы, и он вычитывал их сам по ночам. Домик на мельнице был ветхий, а старец ещё и разрыл завалинку, чтобы не было тепло; когда помощник вызвался заделать щели, Мартирий отговорил его и предложил вместо этого вместе помолиться — после долгих земных поклонов молодой послушник взмок и согрелся сам собой.

В пище он был крайне воздержан: день-два без еды считались у него обычным делом, а однажды, подражая древним подвижникам, провёл без пищи пятнадцать дней, не оставляя при этом ни чтения Псалтири, ни молитвенного правила. Строгость свою он старался прятать: приглашал братию на мельницу «на блины», сам пёк их и подавал, а за столом просил слушать чтение псалмов.

К старости силы стали изменять ему, но образа жизни он не переменил. В последний свой Великий пост он лишь позволил себе в среду горячей воды с ложкой мёда. На первый день Пасхи старец уже не дошёл до храма — стоял на крылечке против дверей собора и слушал службу через открытые двери. На второй день Пасхи, 5 апреля 1865 года, причастившись, он скончался с молитвой на устах. В месяцеслов Русской Церкви преподобного включили решением Архиерейского Собора 2017 года.

Пишут его, как принято писать преподобных, — в монашеском одеянии, со свитком в руке. Память совершается 22 сентября. Икону берут как именную те, кто носит имя Мартирий.