Священномученик Ипполит родился 3 августа 1883 года в Москве. Отец его, Николай Аникитович Красновский, служил священником в церкви Воскресения Словущего на Таганке; мать звали Верой Ефимовной. Сын прошёл обычный для духовного сословия путь: Заиконоспасское духовное училище, Московская духовная семинария и в 1909 году — Московская духовная академия со степенью кандидата богословия.

В 1910 году его рукоположили во священника к той самой Воскресенской церкви на Таганке и поручили ему приходские школы, одноклассную и воскресную. Через год умер отец, и молодой священник стал настоятелем храма. Он преподавал Закон Божий в коммерческом училище, был членом благочиннического совета, в 1924 году стал протоиереем и некоторое время исполнял обязанности благочинного.

19 сентября 1930 года его арестовали и посадили в Бутырскую тюрьму. Вина заключалась в том, что он поддерживал отношения с широким кругом духовенства, а также читал и хранил рукописные сочинения о церковной жизни того времени. Тройка ОГПУ дала ему десять лет лагерей, и отец Ипполит попал на строительство Беломорско-Балтийского канала. В 1933 году лагерь заменили ссылкой с прикреплением к месту жительства, и он выбрал Курск. Туда как раз назначили архиепископа Онуфрия (Гагалюка), который знал священника прежде и сразу дал ему приход. Служили они часто вместе; когда владыка уезжал в Москву на заседания Синода, отец Ипполит вёл епархиальное делопроизводство и по мере сил решал вопросы духовенства, а ещё окормлял мать архиепископа, монахиню Наталию.

23 июля 1935 года их арестовали вместе. Священнику вменили антисоветские проповеди. На допросах он объяснял, что говорил только о сути христианской веры, а призывы к терпению относил к личным скорбям людей и к борьбе с собственным грехом. Следователю он подал заявление, где писал, что во всех проповедях касался только внутренней стороны религии, ни власти, ни строя не задевал и виновным себя не признаёт. На очных ставках он отверг показания лжесвидетелей. На закрытом суде в декабре 1935 года отец Ипполит сказал, что ни о какой группе не знал, что в проповеди на Воздвижение говорил о Христовых страданиях и о том, что страдание душу не озлобляет, а делает её благороднее, — а в слове о любви называл любовь даром за твёрдую решимость не потерять веру.

9 декабря 1935 года его приговорили к десяти годам заключения и отправили в лагеря Хабаровского края. Там он снова оказался рядом с архиепископом Онуфрием: тот писал матери, что отец Ипполит скорбит, потому что ему никто не пишет, что они работают в поле вместе, а позже — что священник уже числится инвалидом. В феврале 1938 года против заключённых в лагере священнослужителей начали новое дело, 17 марта тройка НКВД вынесла расстрельный приговор, а 1 июня 1938 года архиепископ Онуфрий, епископ Антоний (Панкеев), протоиерей Ипполит Красновский и другие проходившие по делу были расстреляны и погребены в общей безвестной могиле. Новомучеников на иконах пишут в богослужебном облачении, с крестом в руке.