В миру старца звали Иваном Ефимовичем Литовкиным. Он родился 2 ноября 1837 года; родное село — Городище в Старобельском уезде Харьковской губернии. Отец, Ефим Емельянович, служил там головой и пользовался общим уважением, мать Мария была строгой, но справедливой и милостивой. Детей в семье было шестеро. Родители подавали милостыню, принимали монахов, собиравших на обитель, и жертвовали на храм; отец не раз говорил, что хотел бы видеть кого-то из детей посвятившим себя Богу.

Скорби пришли рано. В четыре года Ваня остался без отца, в одиннадцать умерла мать. Началась тяжёлая, совсем не детская жизнь: работа в трактире и бакалейной лавке, пятипудовые мешки, обозы с товаром, голод, скитания, побои жестокого хозяина. Но эта жизнь его не озлобила. Когда наконец нашлось хорошее место у таганрогского купца Рафаилова, готового даже выдать за него дочь, пришло письмо от сестры Александры, к тому времени монахини Леониды: она советовала идти в Оптину, к старцам. На слова юноши о поездке в Киев преподобный Амвросий ответил неожиданно: незачем, оставайся тут. Иноческий путь длиной в полвека начался для него 1 марта 1861 года.

По оптинскому порядку каждый новоначальный трудился в трапезной, и там открылись его беспрекословное послушание, трудолюбие, молчаливость и беззлобие. Вскоре брата Ивана определили келейником к преподобному Амвросию. Радость быть рядом со старцем уравновешивалась бесконечными толпами посетителей; однажды он даже собрался тайком уйти к киевским святыням и на Афон, но прозорливый наставник его остановил. Десятилетиями у него не было собственного угла: спал он в приёмной, полной народу почти до полуночи, а в час ночи уже вставал к утрене.

В 1872 году его постригли в мантию с именем Иосиф, в 1877-м рукоположили во иеродиакона, а 1 октября 1884 года, за литургией в честь открытия Шамординской обители, — во иеромонаха. К тому времени он был старшим келейником старца: тихо выходил к посетителям, внимательно выслушивал и в точности передавал ответ, ничего не прибавляя от себя. Всё чаще преподобный Амвросий сам отсылал людей спросить совета у келейника, и все поражались, насколько его слова совпадали со словами старца. О них говорили: что Амвросий, что Иосиф — одно.

В 1888 году он сильно простудился, слёг, и по благословению Амвросия его постригли в схиму — смертельная болезнь отступила. В 1891 году старца Амвросия не стало, и на преподобного Иосифа легли скит, духовничество оптинской братии и попечение о шамординских сёстрах. Двенадцать лет он нёс это, не давая себе поблажек: строгий пост, короткий сон, старая бедная одежда. Длинных бесед он не вёл — умел сказать главное в нескольких словах. Рассказывали, как заболевшую женщину привели к нему в «хибарку»: он дал ей в руки свои чётки, ушёл в спальню, а когда вернулся, она о болезни уже не помнила. Крестьянке с опухолью на шее, которой дважды безуспешно делали операцию, он посоветовал не резать, а отслужить молебен великомученику Пантелеимону — и она поправилась.

С 1905 года старец начал слабеть и долго болел, терпеливо принимая посылаемое. Он тихо отошёл ко Господу 9 мая 1911 года по старому стилю, а на погребении 12 мая рука усопшего оставалась мягкой и тёплой, как у живого. Оптинских старцев на иконах пишут в схиме или мантии, с чётками, а нередко — в общем соборе на фоне обители.