16 сентября 1896 года был назначен епископом Балахнинским, викарием Нижегородской епархии. С 9 ноября 1897 года - епископ Туркестанский и Ташкентский. С 1898 по 1903 год являлся действительным членом императорского Палестинского православного общества. С 18 декабря 1902 года - епископ Рязанский и Зарайский. В июле 1906 года освобожден от управления епархией на 2 месяца в связи с болезненным состоянием. Скончался 17 августа 1913 года в Валдайском Иверском монастыре, где пребывал на покое. В период своего служения владыка Аркадий был известен как активный миссионер, заботливый попечитель о бедных воспитанниках Рязанской духовной семинарии; в годы Русско-японской войны неоднократно выступал инициатором и организатором сбора пожертвований на нужды фронта.