В миру преподобного звали Амвросием. Он родился в Ржеве, в семье благочестивых христиан; отец, Григорий, выделывал кожи и научил ремеслу сына. Амвросий работал, помогая родителям, не забывал о нищих и каждый день бывал в храме. После смерти отца мать уговорила его жениться, но с супругой он не прожил и полугода: тайно от родных ушёл в Великий Новгород.

Там пять лет он занимался кожевенным делом и незаметно для окружающих постился и молился. Через пять лет он написал письмо жене и матери, где утешал их евангельским обещанием вечной жизни тем, кто оставит ради Господа дом и близких.

В 1562 году с помощью Феодора Димитриевича Сыркова, известного строителя храмов, он основал обитель и храм в честь Рождества Пресвятой Богородицы на Ярославском дворище, на торговой стороне Новгорода. В этой же обители принял постриг с именем Арсений. Жил он крайне строго: на теле носил вериги, прикрытые такой ветхой одеждой, на которую не позарился бы и нищий, и постоянно молился со слезами. За это Господь дал ему дар прозорливости. Последние годы он провёл в затворе, оплакивая и свои грехи, и будущие беды родного города.

Беды пришли в 1570 году, когда царь Иоанн Грозный казнил тысячи новгородцев. Услышав о затворнике, царь пришёл к нему с щедрыми подарками. Подарков святой не принял, а сказал прямо: много неповинных душ ты послал в Царство Небесное. Позже, собираясь в Псков, царь снова пришёл — просить благословения на дорогу. Подвижник ответил, что завтра и он готов в путь. Царь обрадовался, не поняв смысла: наутро преподобный Арсений причастился Святых Таин и умер на молитве.

Погребли его в том же затворе. Над обретёнными нетленными мощами построили сначала часовню, потом деревянную церковь в честь Рождества Христова. В записи 1634 года сказано, что мощи покоятся под спудом и приходящим с верой бывают исцеления. В 1787 году их перенесли в Кириллов монастырь близ Новгорода, а в 1812 году устроили новую позолоченную гробницу. Придел в честь преподобного освятили и в родном Ржеве, во Владимирском храме. В древнем житии Арсений назван юродивым Христа ради.