Петровская икона названа по имени того, кто её написал, — святителя Петра, митрополита Московского. Написал он этот образ ещё до митрополичьего сана, когда был игуменом Ратского монастыря на Волыни.

Однажды Ратскую обитель посетил святитель Максим, митрополит Киевский и всея Руси, и игумен Пётр поднёс ему икону в дар. Максим перенёс образ во Владимир на Клязьме — там тогда была его кафедра. После смерти святителя Максима игумен Геронтий решил захватить митрополичий престол и повёз икону в Константинополь, к патриарху Афанасию. В плавании поднялась страшная буря, а ночью Геронтию явилась Пресвятая Богородица и сказала, что святительский сан возложится не на него, а на того, кто написал Её образ. Так и вышло: когда Геронтий добрался до патриарха, святитель Пётр был уже в Константинополе. Патриарх передал икону Петру со словами, что Сама Владычица предсказала о нём и воздала ему дар.

Пётр привёз образ во Владимир, а в 1325 году, когда митрополичью кафедру перенесли в Москву, икону как великую святыню поместили в Успенском соборе Кремля. В источниках XV века её называют «животворивой»; вероятно, она стояла у гроба святителя Петра, и летописи вспоминают о ней в рассказах о спасении Москвы от врагов.

Московские первосвятители чтили Петровскую икону особо: её носили перед ними на крестных ходах и приносили на поклонение к их гробницам. Патриарх Иов брал этот образ вместе с Владимирской и Донской иконами, когда шёл к Борису Годунову просить его принять царство. В 1613 году икону принесли в Кострому, и она участвовала в призвании на царство Михаила Фёдоровича.

Из чтимых списков известны новгородский XIV века, который хранится в Третьяковской галерее, список XVI века в Кирилло-Белозерском музее-заповеднике в Кириллове и чтимый образ в Калуге. В 2010 году братия Высоко-Петровского монастыря подарила список Святейшему Патриарху Кириллу — с тех пор эта икона находится в алтаре Храма Христа Спасителя над Патриаршим местом.