Преподобный Евфимий родился в городе Мелитине в Армении, близ Евфрата, у знатных и благочестивых родителей — Павла и Дионисии. Детей у них долго не было, сын родился по усердным молитвам, и рождению предшествовало видение, обещавшее младенцу большое будущее. Отец вскоре умер, и мать, исполняя обет, отдала мальчика на воспитание своему брату, пресвитеру Евдоксию. Тот привёл отрока к епископу Мелитинской церкви Отрию, и епископ, видя доброе поведение, поставил его чтецом. Позже Евфимий принял монашество, был рукоположён во пресвитера и получил в управление все городские монастыри.

Должность тяготила его: он искал безмолвия. На тридцатом году жизни он тайно ушёл из города в Иерусалим, поклонился святым местам и поселился в пустой хижине возле Фаранской Лавры, кормясь плетением корзин. Рядом подвизался преподобный Феоктист, и оба, сойдясь в одном стремлении, уходили после Богоявления в Кутиллийскую пустыню недалеко от Иерихона. Однажды они там и остались, поселившись в пещере в труднодоступных горах. Пастухи нашли их и рассказали в селении — уединение кончилось, к ним потянулись люди. Так возникло общежитие: управлять им Евфимий поручил Феоктисту, а сам стал духовником братии.

Наставлял он просто и жёстко. Инок не должен иметь своей воли, должен жить в послушании и смирении, помнить о смерти и Суде. Молодым он не позволял поститься больше других, но велел есть общую пищу с воздержанием, а телесный труд соединять с богомыслием: если миряне трудятся, чтобы прокормить семью, и ещё подают милостыню, то монахам тем более нельзя жить чужими трудами. В церкви и за трапезой требовал молчания.

В те годы преподобный крестил многих арабов, среди них — военачальника Аспевета, чьего сына Теревона он исцелил; в крещении Аспевет получил имя Пётр и позже был у арабов епископом. Слава о чудесах гнала его дальше в пустыню: он уходил с учеником Дометианом на гору Марда у Мёртвого моря, потом в пустыню Зиф, где поселился в пещере, в которой когда-то скрывался от Саула царь Давид, и устроил там церковь и монастырь. Вернувшись, он не хотел никого возле себя, но Господь в видении запретил ему отгонять приходящих ради спасения души, и вокруг снова собрались братия. В 429 году, когда преподобному было пятьдесят два, патриарх Иерусалимский Ювеналий освятил церковь новой Лавры.

Лавра была бедна. Однажды в неё пришли около четырёхсот голодных путников-армян; эконом сказал, что кормить нечем, но преподобный настоял — и в хлебной оказалось множество хлебов, а вина и елея хватило так, что после трапезы осталось ещё на три месяца. Когда один инок отказался от послушания и упорствовал, он на глазах у всех впал в беснование, и только по молитве аввы пришёл в себя; «послушание Господь любит больше жертвы», — сказал тогда Евфимий. Двум братьям, задумавшим уйти из обители, он объяснял, что доброе достигается не переменой места, а твёрдой волей и верой: часто пересаживаемое дерево не приносит плодов.

Он застал два Вселенских Собора — Ефесский против Нестория и Халкидонский против ереси Диоскора, утверждавшей во Христе одно только Божеское естество. Евфимий принял халкидонское исповедание, и вслед за ним его приняли многие иноки и пустынники, до того веровавшие неправо. За подвижничество и твёрдость в вере он и получил имя Великого. Некоторые из братии видели, как во время литургии его окружал сошедший с неба огонь; сам он открыл нескольким инокам, что часто видит Ангела, служащего вместе с ним.

Когда преподобному было восемьдесят два года, к нему пришёл юноша Савва — будущий Савва Освященный; старец принял его и предсказал, что тот просияет в иночестве. О своей кончине он узнал заранее: в день памяти преподобного Антония Великого объявил пресвитерам, что больше не совершит с ними бдения, дал братии последние наставления — хранить любовь и смирение, не оставлять церковных служб, не запирать ворота обители перед странниками — и скончался 20 января 473 года, девяноста семи лет. Мощи его находились в его палестинском монастыре; в XII веке их видел русский паломник игумен Даниил.