🔥 Сегодня вечером в Рунете случился эпичный блэкаут. На скрине с графиком MSK-IX (главной точки обмена трафиком в РФ) запечатлен момент клинической смерти... буквально за минуты объем передаваемого трафика рухнул с 7.8 Тбит/с до 3 Тбит/с. В бездну улетело почти 5 терабит трафика всей страны. В Гагаринском районе Москвы произошла авария на электросетях. И по случайному совпадению именно там находится знаменитая девятка... или ММТС-9 - главное здание Рунета, где физически стыкуются кабели почти всех провайдеров, хостеров и бигтеха. Если чекнуть тех документацию М9, то на бумаге девятка - это неприступная энерго крепость: 🟢 Электроснабжение 1 категории надежности. 🟢 4 (ЧЕТЫРЕ!) независимых питающих центра (ТЭЦ-20 и три подстанции). 🟢 Двухлучевые и трехлучевые автоматы ввода резерва. 🟢 Аккумуляторные батареи постоянного тока, рассчитанные на час автономной работы. 🟢 Резервные дизель-генераторы. Но тут на районе гаснет свет. И вся система резервирования 1 категории просто делает пуньк... и не заводится. ИБП не держат, дизели не стартуют (или не вывозят переключение АВР, хз). Главный коммутатор страны обесточивается. А дальше случается классика жанра, которую проходят на курсах для сетевиков. Когда М9 погасла, миллионы BGP-сессий порвались. Умные маршрутизаторы по всей стране поняли, что этот маршрут мертв - перекидываем трафик на резервные ЦОДы и другие узлы связи 🙂 И 5 терабит трафика ломанулись по резервным каналам на другие ДЦ. Естественно, ни один резервный узел не был рассчитан на то, чтобы единомоментно сожрать нагрузку девятки. Их аплинки задохнулись, железо ушло в полку, и они начали падать один за другим от перегруза. Ну по сути, Рунет сам себя задудосил 😬 Маркетологи Ростелекома, конечно, быстро выкатили инфу, что задействованы резервные дизели, всё работает штатно. Да-да, мы видели это штатно на графике падения 😗 Как бы не был во всём виноват дежурный электрик Михалыч, который не проверил уровень соляры в генераторе. Типичный 🥸 Сисадмин