Имя своё икона получила от казачьего городка Гребни, стоявшего на устье реки Чир, что впадает в Дон. По преданию, донские казаки поднесли этот образ великому князю Димитрию Донскому, когда он возвращался с Куликовской битвы в 1380 году.

«Гребневская летопись», составленная в 1471 году, рассказывает, как князя с победой встречали живущие по Дону казаки — с крестами и своими чудотворными иконами. Сначала ему поднесли образ Богородицы Одигитрии из Сиротина городка, а потом, уже у Гребней, вручили и эту икону. За храбрость против врагов князь установил казакам своё жалованье.

В XV веке великий князь Иоанн Васильевич брал образ с собой в поход на Новгород, а вернувшись, по обету построил в Москве на Лубянке церковь Успения и поставил икону в ней. Когда в 1687 году церковь сгорела, икона уцелела. Дальше чудеса шли одно за другим: в 1612 году защитники города вместе с Гребневской иконой отбили нападение; через пять лет образ снова остался невредим в пожаре, уничтожившем храм. В середине XVII столетия с иконой связывали прекращение эпидемии холеры. В начале XVIII века помощь от неё получила сестра Петра I Наталья Алексеевна: она дала денег на обновление старинного образа, украсила его богатой ризой и сама пешком прошла из села Преображенского на Лубянку, чтобы вернуть икону в Успенскую церковь.

Каменный храм устоял и в большом пожаре 1737 года, когда выгорела почти четверть города, и в 1812 году, хотя всё вокруг сгорело. Икона оставалась в нём до 1930-х годов; после закрытия и разрушения церкви следы её теряются. Считается, что образ с Лубянки ныне хранится в Третьяковской галерее, хотя среди попавших туда икон иконостаса того, который можно было бы уверенно назвать Гребневским, нет.

По типу это «Одигитрия» — «Путеводительница»: Богородица держит Младенца на руке, а другой торжественно указывает на Него как на путь ко спасению. Особенность Гребневской в том, что Сына Она держит не левой рукой, а правой; такой вариант называют «Одигитрия Дексиократуса». На образе из Тамбовского музея Богородица написана по пояс, в запахнутом красном мафории, левой рукой Она указывает на Иисуса; Младенец правой благословляет, а в левой держит свиток, на Нём золотисто-охристый гиматий. У шеи мафорий расходится и открывает горловину хитона — тоже примета этого образа. Изображение заключено в рамку с растительным орнаментом, а по углам написаны головы херувимов.

Списки Гребневской есть в подмосковных Пушкине, Гребневе и Одинцове, а один список XVIII века хранится в Тамбовском краеведческом музее.