По местному преданию, Иаков принял постриг в Копырском монастыре на реке Ухтоме, километрах в восьмидесяти от Ростова, и долгое время был там игуменом. В 1385 году его поставили епископом Ростовским — при митрополите Пимене и великом князе Димитрии Донском.

Известность святителю принёс поступок, который стоил ему кафедры. Защищая женщину, осуждённую на казнь, он поступил по примеру Спасителя: велел бросить в неё первый камень тому, кто сам считает себя безгрешным, — а женщину отправил на покаяние. Князь и ростовские бояре остались недовольны епископским судом и изгнали святителя из города.

Дальше предание рассказывает о чуде. Выйдя из Ростова, святитель подошёл к озеру Неро, разостлал на воде свою мантию, осенил себя крестным знамением и поплыл на ней, как в лодке. Отплыв версты полторы, он вышел на берег — на том самом месте, где потом встанет монастырь. Князь и горожане раскаялись и просили прощения; кроткий епископ простил их, но обратно не вернулся.

На берегу озера святитель срубил себе келлию и поставил небольшой храм в честь Зачатия праведной Анной Пресвятой Богородицы. С неё и начался Зачатьевский Иаковлевский монастырь. Там же святитель Иаков скончался 27 ноября 1392 года.

Стоит сказать и о том, чего мы не знаем. Древнее житие святителя не сохранилось, и позднейшие описатели брали сведения из службы ему. Служба же дошла в списках XVI–XVII веков и была составлена заимствованиями из служб святителю Вуколу и святителю Стефану Сурожскому. Отсюда, по-видимому, и распространённое мнение, будто святитель Иаков боролся в конце XIV века с иконоборческой ересью некоего Маркиана.

Святителей принято писать в архиерейском облачении, с Евангелием и благословляющей рукой; узнают образ по надписанию имени. Память святителя Иакова Ростовского отмечают 5 июня и 10 декабря.