Инженеры KTS выкатили на Хабре бодрый разбор того, как восстанавливали прод заказчика после атак на дата-центры Яндекса. После сбоя основной площадки команде пришлось перенести инфраструктуру и данные в другое облако, поэтапно запустить сервисы и проверить работу приложений. Что помогло вернуть критичные сервисы менее чем за сутки: — Проверенные бэкапы. Инженеры ещё до аварии тестили восстановление, поэтому не пришлось проверять работоспособность копий в разгар инцидента; — Terraform, Ansible и документация. Часть инфраструктуры уже была описана в коде, а известные зависимости и порядок запуска — задокументированы; — Не всё зависит от DevOps. Можно быстро раскатать окружение, а потом ждать снапшоты от поддержки, выгрузку данных из S3 или свободные мощности у нового провайдера. Главный вывод: бэкап считается рабочим не тогда, когда он успешно создался, а когда из него удалось восстановить систему. Сохраняем, чтобы не чинить прод по памяти ☺️