О происхождении преподобного известно немного. По преданию, годом его рождения был примерно 570-й, а родителями — святые Ксенофонт и Мария. Шестнадцатилетним юношей он пришёл на Синай, в тамошний монастырь, и отдал себя в руководство авве Мартирию. Постриг он принял через четыре года; один из присутствовавших при этом, авва Стратигий, тогда же предсказал, что новый инок станет великим светильником Церкви. В послушании у своего духовного отца Иоанн прожил девятнадцать лет.

После смерти наставника он выбрал жизнь отшельника и ушёл в пустынное место, называемое Фола. Там он провёл сорок лет в безмолвии, посте, молитве и слезах покаяния. О слезах он потом написал так: как огонь сжигает хворост, так чистая слеза омывает всякую нечистоту, внешнюю и внутреннюю. О его молитве говорит случай с учеником: инок Моисей, посланный носить землю для грядок, прилёг в жару отдохнуть под большим утёсом, а преподобному в тот час явился некто и укорил, что он спокоен, когда ученику грозит опасность. Иоанн стал молиться; Моисею во сне послышалось, что его зовут, он вскочил и отбежал — и на то место рухнул огромный камень.

Жил он без показной суровости: ел то, что не запрещал устав, но понемногу; спал ровно столько, сколько нужно, чтобы не повредить разум. «Я не постился чрезмерно, — говорил он о себе, — и не предавался усиленному ночному бдению». Когда его упрекнули в многословии и тщеславии, он замолчал на целый год, пока сами упрекавшие не попросили его снова говорить с ними.

В семьдесят пять лет, после сорока лет уединения, его избрали игуменом Синайской обители; управлял он ею около четырёх лет, и к концу жизни Господь дал ему дар прозорливости и чудотворений. Тогда же игумен Раифского монастыря, тоже Иоанн, от лица своей братии попросил его записать руководство для духовного восхождения. Так появилась «Лествица» — тридцать ступеней, по образу тридцати лет Господня совершеннолетия. Цель книги — научить, что спасение требует самоотвержения и труда: сначала нужно очиститься от страстей ветхого человека, а затем восстановить в себе образ Божий.

Книга писалась для монахов, но её читает всякий, кто хочет разобраться в собственной душе. Одна из самых известных ступеней — двадцать вторая, о тщеславии: «Куда ни поверни это терние, оно всё станет спицами кверху», — постишься и тщеславишься, скрываешь пост и тщеславишься благоразумием, говоришь и молчишь — и снова попадаешь к нему во власть. На «Лествицу» как на лучшее руководство ссылались преподобные Феодор Студит, Сергий Радонежский, Иосиф Волоколамский.

Преподобных пишут в монашеском облачении, со свитком в руке; на иконах, названных по книге, изображают лестницу и восходящих по ней иноков. Память святого приходится и на четвёртое воскресенье Великого поста — как напоминание, что пост есть восхождение по ступеням.