Ослябя был любутским боярином и опытным воином. По «Задонщине» — памятнику древнерусской литературы — он приходился родным братом Александру Пересвету. В 1369–1370 годах он был среди участников брянского восстания — против власти Ольгерда, князя литовского, с 1370 года был на службе у великого князя Дмитрия Донского, который пожаловал ему вотчины в Коломенском и Галицком уездах.

В 1380 году он был участником Куликовской битвы. «Задонщина» сохранила предание, что перед сражением Ослябя предсказал гибель брату Пересвету и своему сыну Якову; известны имена и других его сыновей — Акинфа и Родиона.

В поздних редакциях «Сказания о Мамаевом побоище» Ослябя описан иноком Троице-Сергиева монастыря, посланным на битву преподобным Сергием Радонежским вместе с Пересветом. В некоторых списках говорится, будто он пал на Куликовом поле, но это ошибка: ни в летописных списках убитых, ни в синодиках его имени нет.

Монашество Ослябя принял в 1380-е годы, вероятно в одном из московских монастырей; Андрей — его иноческое имя. В документах 1390–1393 годов «чернец Андрей Ослябя» упоминается среди бояр митрополита Киприана. Обстоятельства его кончины неизвестны.

В XVII веке имена Пересвета и Осляби внесли в святцы, а в 1981 году они вошли в состав Собора Радонежских святых; общецерковная канонизация состоялась на Архиерейском Соборе в 2016 году. Надгробия над их предполагаемым погребением в храме на Старом Симонове уничтожались и восстанавливались не раз; ныне там устроена сень.

Пересвета и Ослябю на иконах принято писать вместе — так их и вспоминают: воинов, принявших иноческий образ.