Иаков был сыном Иосифа Обручника от его первой жены — поэтому в Евангелии его и называют братом Господним. По преданию, воскресший Христос явился ему и поставил его епископом Иерусалимской церкви. Судьба у него сложилась иначе, чем у остальных апостолов: он не ходил с проповедью по чужим странам, а всю жизнь учил и служил в Иерусалиме — городе, который тогда значил для христиан больше любого другого.

Как глава иерусалимской общины он председательствовал на Апостольском соборе 51 года. Голос его там оказался решающим: именно предложение Иакова легло в основу соборного решения, о котором рассказывает пятнадцатая глава книги Деяний.

Его влияние держалось не на должности, а на образе жизни. Он хранил девство, не пил ни вина, ни других хмельных напитков, воздерживался от мяса, носил только льняную одежду. Молиться он уходил в храм и молился там на коленях о своём народе — так подолгу, что кожа на коленях загрубела. Служить приходилось среди самых непримиримых противников христианства, но вёл он себя так разумно и справедливо, что его уважали и христиане, и иудеи; его называли праведником и опорой народа. Иерусалимскую церковь он возглавлял около тридцати лет, и многие евреи приходили к вере просто потому, что доверяли его слову.

Именно это и напугало иудейских начальников: они боялись, что за Христом пойдёт весь народ. В 62 году, пока прокуратор Фест уже уехал, а его преемник Альбин ещё не прибыл, они решили действовать. Апостола вывели на портик храма при большом стечении народа и спросили о Распятом. Иаков громко ответил, что Иисус сидит на небесах одесную силы Всевышнего и придёт на облаках. Христиане в толпе закричали «Осанна Сыну Давидову», а первосвященники и книжники столкнули апостола вниз. Он ещё смог подняться на колени и молился о прощении для убивавших его. Один священник пытался остановить толпу, но апостола добили ударом по голове; вместе с ним погибло много христиан.

Иудейский историк Иосиф Флавий, перечисляя причины падения Иерусалима, называет среди них и убийство праведного Иакова. Незадолго до смерти апостол написал соборное послание — то самое, где сказано, что вера без дел мертва. Церковное предание приписывает ему и составление древнейшего чина литургии. Важно не смешивать его с апостолом Иаковом Алфеевым: Церковь различает их, и на это указывали ещё Евсевий Кесарийский, святители Кирилл Иерусалимский и Епифаний Кипрский.