Предание относит эту икону к самым древним: считается, что её написал евангелист Лука в Гефсимании, на пятнадцатый год после Вознесения Господня.

Дальше у образа была долгая дорога. В 463 году греческий царь Лев Великий перенёс икону в Константинополь, и почти три столетия она пребывала во Влахернской церкви; с её заступничеством связывают отражение нападения скифов на город. В 988 году образ принесли в Корсунь и поднесли в дар святому равноапостольному князю Владимиру. Когда крестились новгородцы, князь отправил икону им. В 1571 году Иоанн Грозный перенёс её в московский Успенский собор.

После Отечественной войны 1812 года древняя икона исчезла из Кремля. Долго держалась легенда, будто французские солдаты увезли святыню и поставили её в соборе Парижской Богоматери, — но в 1977 году главный инспектор по памятникам истории Франции ответил на запрос, что такой иконы в описи собора нет.

В Успенском соборе на место подлинника, за патриаршим местом, поставили старинный список, находившийся прежде в дворцовой церкви Рождества Богородицы «что на Сенях». Точный список Иерусалимской иконы находится в главном соборе Кремля и сегодня. Древние списки, почитаемые в народе, есть в церкви Воскресения на Староиерусалимском подворье и в Троицком храме в Вешняках в Москве, в Новом Иерусалиме, в Бронницах и в других местах. Есть чтимый Иерусалимский образ и на Афоне, в Русике: он помещён там над царскими вратами соборного Покровского храма, и накануне Богородичных праздников и по воскресеньям после вечерни перед ним читают акафист.

Празднование Иерусалимской иконе совершается 25 октября.