Преподобный Иосиф Песнописец родился на Сицилии в христианской семье. Его родителей звали Плотин и Агафия; спасаясь от нашествия варваров, они перебрались в Пелопоннес. В пятнадцать лет Иосиф ушёл в Фессалоники и поступил в монастырь, где братия полюбила его за трудолюбие и кротость. Со временем он был рукоположен в пресвитера.

Монастырь посетил преподобный Григорий Декаполит, заметил молодого инока и взял его с собой в Константинополь. Поселились они при церкви мучеников Сергия и Вакха. Шло царствование Льва Армянина (813–820) — время жестоких гонений на почитателей икон, причём иконоборцами были и император, и патриарх. Григорий и Иосиф открыто защищали иконы: проповедовали на площадях, обходили дома православных, укрепляли их против ереси.

Православные иноки решили отправить в Рим посланника, чтобы рассказать о положении Константинопольской Церкви, и выбрали Иосифа как самого стойкого и красноречивого. По дороге его схватили разбойники, подкупленные иконоборцами, отвезли на Крит и передали единомышленникам. Шесть лет преподобный провёл в темнице, поддерживая других узников: по его молитвам один заколебавшийся было епископ укрепился и мужественно принял мученическую кончину.

В рождественскую ночь 820 года Иосифу явился святитель Николай Мирликийский и известил, что гонитель умер и гонения прекращаются. Святитель подал ему свиток со словами молитвы и велел прочитать и пропеть их. После этого оковы спали сами, двери темницы отворились, и преподобный оказался на дороге близ Константинополя. Григория Декаполита он в живых уже не застал, встретил только его ученика блаженного Иоанна, который вскоре скончался. Иосиф построил церковь во имя святителя Николая, перенёс туда мощи обоих и основал при ней монастырь.

Позже ему передали часть мощей апостола Варфоломея. Преподобный построил храм и в его честь, но горевал, что не может достойно почтить память апостола: подходящих песнопений не было, а сам он не смел их сочинять. Сорок дней он молился со слезами — и накануне праздника апостол Варфоломей явился ему в алтаре, возложил на грудь Евангелие и благословил писать церковные песнопения. С тех пор Иосиф слагал каноны и гимны — Божией Матери, святым и особенно святителю Николаю, освободившему его из темницы.

При императоре Феофиле (829–842) ересь возобновилась, и преподобный пострадал во второй раз: одиннадцать лет он провёл в изгнании в Херсонесе. В 842 году, когда царица Феодора восстановила почитание икон, его поставили сосудохранителем Софийского собора. Но за прямое обличение царского брата Варды в незаконном сожительстве он снова был сослан и вернулся только после смерти Варды, в 867 году. Патриарх Фотий вернул ему прежнюю должность и назначил духовником всего константинопольского духовенства.

Преподобный дожил до глубокой старости. В Великую пятницу Господь известил его во сне о близкой кончине. Иосиф составил опись церковного имущества Софийского собора, которое было на его попечении, отослал её патриарху, несколько дней провёл в молитве, причастился и мирно отошёл к Богу в 883 году. Его жизнеописатель, константинопольский диакон Иоанн, около 890 года писал, что песнопения Иосифа поражали слух красотой звука, а сердце — силой мысли, и что их переводили на разные языки, чтобы петь на ночных богослужениях.