После ареста послушниц епископа Серафима оставили под домашним арестом. В тюрьму его взяли 23 апреля во время приступа желчной болезни. 25 апреля владыку отконвоировали в Москву на Лубянку и поместили во внутреннем изоляторе, где уже находился епископ Арсений (Жадановский); его вскоре отпустили, а епископ Серафим остался в заключении. В июне с Лубянки перевели в Бутырскую тюрьму, и 7 июля 1932 года был вынесен приговор — три года ссылки в Казахстан.

В Алма–Ату владыка с послушницами прибыли 1 августа и поселились на терраске в чуланчике. Разреженность воздуха действовала на сердце, вызывая тяжелые приступы. Чуть ли не каждые два дня бегали за врачом: казалось, владыка умирает… На террасе осенью стало холодно: начались нарывы, ревматизм, зубная боль, малярия… Отец хозяйки собирал милостыню. Вернувшись домой, доставал лучшие куски и прянички из мешочка, делился с владыкой. Епископ брал и благодарил: «Спасибо, дедушка». — «Богу Святому спасибо, а не мне». 10 ноября 1932 года владыку вызвали в ОГПУ и приказали отправиться в город Гурьев.

Зима в Гурьеве прошла в скудости и нищете. Анна рисовала и вышивала, кормились, продавая ее изделия, но на праздник иконы Божией Матери «Живоносный Источник» вдруг посетила ссыльных милость Божия — телега посылок с крупой и сухарями.

17 июля 1933 года, во время совершения литургии, явился представитель ОГПУ — владыку перевели в Уральск.

1 августа, в день памяти преподобного Серафима, началась в Уральске новая жизнь в маленькой хатке. Здесь устроили келиюцерковь, снова стали постоянно служить, но вскоре владыка заболел малярией. Страшные приступы повторялись ежедневно, хина не помогала. Он терял сознание и приходил в себя лишь через несколько часов. Врач каждый раз предупреждал о возможности смертельного исхода в ближайшую ночь. Исцеление пришло неожиданно в день празднования памяти святого Иоанна Тобольского. С 23 июня, после двух месяцев болезни, приступы прекратились. По совету врача подали прошение переменить место ссылки, но ответа не последовало.

Наступила зима. Рамы в доме были одинарные, на окнах — лед, кругом снег и темнота. Листья деревьев и хворост из государственного сада запасали на дрова, а верблюжий навоз — для самовара. Голодно, цены высокие, не было ни хлеба, ни картофеля. Собирали в полях зеленый капустный лист и рубили в маленькую кадочку. В дни получения посылок был праздник, чувствовали помощь Божию и любовь духовных чад.

В Крещенский сочельник, когда епископ Серафим готовился к водосвятию, пришел представитель ОГПУ и объявил, что ссыльного переводят на жительство в Омск.

23 января 1935 года, в 35 градусов мороза, выехали из Уральска, но, к счастью, через Москву. После трехлетнего отсутствия в Москве на Павелецком вокзале встретили духовные чада. Утром владыка причастил пришедших, и после молитвы все собрались вокруг владыки, а он поучал с теплой, отеческой любовью свою московскую паству в последний раз. 28–го вечером провожали в Омск с Ярославского вокзала, принесли на дорогу денег и гостинцев, чем очень поддержали.

30 января прибыли в Омск. После пяти дней пребывания в Омске ОГПУ приказало немедленно выехать в Ишим. Прибыли туда 3 февраля 1935 года ночью. До апреля, когда оканчивался срок ссылки, оставалось три месяца. Здесь нашелся старичок Александр Павлович, который пригласил владыку на жительство в дом с палисадником и квартирой на втором этаже. «Горницею устланною, яко красная палата», показалась комната ссыльным. Прежде всего устроили домашнюю церковь, и жизнь пошла обычным порядком: молитва утром, Божественная литургия, чай, отдых, чтение Священного Писания, чай, вечерняя служба, небольшой ужин, вечерние молитвы — и затворялся владыка, соединяя с отдыхом молитву и чтение даже и ночью. Прошла Пасха, наступило лето 1935 года. Срок ссылки закончился, но освобождения владыка не получил. Только осенью пришли бумаги. На предложение выбрать место жительства (минус шесть городов) епископ Серафим ответил, что решил остаться в Ишиме, где ему дали паспорт на жительство.

Добираться из Москвы до Ишима можно было без пересадок; не близко, но доступно всем. Духовные чада приезжали каждый месяц, привозили исповеди от всех и вопросы — владыка всем отвечал.

Во время частых болезней и сердечных приступов владыка говорил: «Умираю, прощайте, мои дорогие. Кто‑то меня отпевать будет?» 1 июля 1936 года пришло сообщение о смерти брата Михаила. «Я остался один из семьи, моя очередь», — сказал владыка и даже отслужил по себе отпевание. В конце 1936 года епископ Серафим хотел принять великую схиму, но постриг устроить не удалось.

В Ишиме Анна заболела тропической малярией. Три дня была без сознания, температура — выше сорока. Врач сказал, что такая форма малярии смертельна, но, когда владыка причастил Святых Христовых Тайн, — температура стала нормальной и больше не повышалась. Только тогда ей сказали, что ее считали безнадежной.

С Рождества 1937 года в Москве начались массовые аресты духовенства. Всю зиму владыка Серафим каждое воскресенье, произнося отпуст, добавлял: «Воскресый из мертвых Христос, истинный Бог наш… помилует и спасет нас. Слышишь: не только помилует, но и спасет, непременно помилует, непременно спасет».

Еще осенью хозяина вызывали в НКВД и обязали немедленно сообщить, если он заметит у владыки какие‑либо приготовления к отъезду. Последнее время какие‑то лица следили за каждым шагом ссыльных.