Немного расскажу о том, что происходит с сервисами после того, как выходит из строя дата-центр Обычно все сервисы держатся на нескольких ногах. Например, обычно у любой базы данных есть три ноги в трех дата-центрах. На одном дц живет мастер, на двух других - реплики, иногда они меняются. В высоконагруженных сервисах вся запись идет на мастер, а чтение обычно идет с реплик. И да, есть небольшой лаг отставания (около секунды) Как только дата-центр уходит в даунтайм, мастер очень быстро перепрыгивает на один из оставшихся дата-центров и сервис снова живет, обычно это занимает пару десятков секунд. Все данные снова реплицируются на оставшиеся два дата-центра и как только поднимется третий, все данные также перельются на него - все происходит автоматически. Поэтому если данные даже были физически уничтожены в первом дата-центре, они не теряются В ситуации, когда вышибают две ноги, мастер переезжает на оставшийся дата-центр, и реплик больше нет. Это самая опасная фаза и последний дц терять никак нельзя, потому что после этого данные сервиса становятся недоступны. На время В Яндексе мы годами проводили учения по отказу дата-центров, например когда я работал в Маркете, такие учения были перед каждым сезоном и проходили по несколько месяцев. Во всех больших сервисах типа Такси, Поиска, Еды, Лавки, все команды постоянно их проходят И, естественно, эти учения не всегда проходят гладко - то тут, то там команды находят мелкие недоработки, и ученьки как раз позволяют нам делать работу над ошибками и в след раз проходить их более успешно Но сейчас уровень этого экзамена резко поднялся до 15 из 10, из-за атак отключились два больших ДЦ, и сейчас вся огромная мощь сервисов пытается устоять на оставшихся ресурсах У сервисов отрезают часть функциональности, чтобы работала только самая важная часть, а какие-то и вовсе выключают. Люди экстренно переливают ядра, меняют конфиги таймаутов, рейт-лимиттеров, включают сценарии деградации, которые у нас были, чтобы остатки сервисов не погибли под нагрузкой. Большинство наших сервисов снова работают благодаря титаническим усилиям ребят, которые не спят уже пару дней - Такси, Маркет, Еда, Доставка, Алиса по большей части доступны, очень-очень ждем полного возвращения Пей К чему я это все пишу... Други, те, кто негодует и переживает - просто дайте нам еще время, чтобы все починить. Подобного сценария по сложности мы еще не проходили в масштабах всей компании и сейчас нам правда нужны ваше доверие и поддержка Спасибо! ❤️❤️ ❤