Арсений родился в 354 году в Риме, в благочестивой христианской семье, которая дала ему прекрасное образование. Он изучил сочинения риторов и философов, свободно владел греческим и латинским, но мирская жизнь его не увлекла: он стал клириком одной из римских церквей и был поставлен диаконом.

Император Феодосий, правивший тогда восточной половиной империи, искал для своих сыновей Аркадия и Гонория такого учителя, который научил бы их не только философии, но и добродетели — собственным примером. Услышав об учёности и благочестии римского диакона, он поручил воспитание царевичей ему. Арсений взялся за дело против воли, но старательно. Почёт, которым его окружили при дворе, тяготил его, и он со слезами просил Бога указать путь. Однажды он услышал голос: беги от людей, и спасёшься. Тогда он снял с себя роскошные одежды, надел страннические, тайно ушёл из дворца, сел на корабль и отплыл в Александрию, а оттуда поспешил в скитскую пустыню.

Там он проходил послушание у аввы Иоанна Колова и вскоре превзошёл в подвижничестве многих отцов-пустынников. Когда он снова просил Бога научить его спасению, был второй ответ с неба: скрывайся от людей и молчи, в этом корень добродетели. С тех пор Арсений поселился отдельно от скита, в уединённой келье, приходил в церковь только по воскресеньям и праздникам и ни с кем не беседовал.

Братия спрашивала, почему он прячется даже от них. Он отвечал, что любит их, но не может быть одновременно и с Богом, и с людьми: на небе у бесчисленных сил одна воля, и потому они единодушно славят Бога, а на земле воль много и у каждого свои мысли.

Один странствующий инок ушёл от него, не услышав ни слова, а у преподобного Моисея был принят с радостью и угощён, — и решил, что Моисей выше. Другой подвижник стал молиться, чтобы Бог открыл, кто совершеннее: тот, кто ради Него скрывается от людей, или тот, кто ради Него всех принимает. Ему было видение: по большой реке плыли два корабля, кораблём Арсения управлял Дух Божий в великой тишине, а кораблём Моисея — Ангелы, влагавшие мёд в его уста. Опытные подвижники, услышав об этом, рассудили, что совершеннее молчальник, потому что с ним пребывал Сам Бог.

Учил преподобный просто и жёстко: многие умерщвляют тело постом и трудами, но мало кто бережёт душу от тщеславия, гордости, зависти, гнева и осуждения; такие чисты снаружи, а внутри подобны разукрашенным гробам. Себе он часто говорил, что пришёл в пустыню не для отдыха, а для труда. И оставил слова, которые повторяют до сих пор: о сказанном он много раз сожалел, а о молчании не жалел никогда.

В иноческих трудах преподобный провёл пятьдесят лет: сорок из них в скиту, десять — в местечке Трогин около Вавилона, три года в Канопе близ Александрии, а потом снова в Трогине, где и скончался в возрасте девяноста пяти лет. Современники назвали его Великим.