Типичный Сисадмин

🔥 Яндекс начал эвакуировать клиентов к прямым конкурентам. Стойки закончились. В 09:27 во всех зонах разом захромал S3 Object Storage... тайминги улетели, операции записи начали повально сыпать ошибками. Стораджисты это понимают... это когда из распределенного кластера физически выпадают площадки, erasure coding и кворум репликации ложатся, то читать старое еще можно, а вот записать новый блоб становится тяжеловато (невозможно). 😱 В 10:39 случился исторический момент. Яндекс пояснил, что свободных мощностей для бизнеса больше нет, и предложил своим клиентам… переходить в Selectel, K2Cloud и VK Cloud. А чтобы быстрее приютили на чужих серверах, нужно назвать секретный пароль... CloudBro 👨‍🦳 З.Ы. Как говорится... мем смешной, а ситуация страшная. Кажется, мы только что увидели фактический предел прочности нашего облачного рынка. Типичный 🥸 Сисадмин

💥 Следом за Сасово прилетело по ДЦ Яндекса в Калуге. Минус два из трёх. Не прошло и суток как под удар попал крупнейший ДЦ Яндекса в Калуге. Несколько модулей выведены из строя, экстренные службы на месте, сервисы по всей стране снова лихорадит, а масштаб ущерба уточняется. Оцените всю дьявольскую издевку ситуации 👹... ровно вчера, когда в Сасово догорал, техподдержка Яндекса советовала клиентам переносить нагрузку в другие зоны доступности. И тысячи невыспавшихся админов по всей стране, с красными глазами 🤙, раскатывали бэкапы, поднимали поды и переключали трафик… куда? В Калугу и Владимир. И вот, не успел в свежеподнятых базах остыть кэш, как резервная гавань сама ловит новый физический импакт. С точки зрения архитектуры распределенных систем это почти фаталити... любой эникей знает, что для нормального кворума в etcd, распределенной YDB или консенсусах на базе Raft и Paxos требуется правило большинства (N/2 + 1). Для этого региональные облака и строят минимум на трех изолированных зонах доступности. Зона ru-central1-b физически аннигилировала вчера. Сегодня падает калужская зона. Два узла из трех выбыли. Вчерашний совет саппорта про спасаться на дедиках теперь заиграл совсем уж погребальным сарказмом. На каком железе спасаться-то, если его выбивают быстрее, чем админы успевают поправить адреса в куберконфигах? Карточный домик суверенной облачной отказоустойчивости пошатнулся. З.Ы. В строю осталась последняя площадка во Владимире. Инженерам во Владимирской области сейчас хочется пожелать персонального бронированного купола толщиной с бетонную плиту. Потому что если моргнет и Владимир... ⚰️ Типичный 🥸 Сисадмин

Дашборды зеленые. Сервис недоступен Потребуется время, чтобы найти и устранить ошибку. Но мониторинг может объяснять сам себя. «Группа Астра» выпустила AMAIA — агентный ИИ-слой над мониторингом. ИИ-агенты объединяют данные из разных систем, сами пишут инструменты для проверок, находят причины ошибок и помогают их устранить. Опыт разборов копится в базе знаний. Приглашаем на вебинар «ИИ над мониторингом: одна платформа, разные задачи, ваши модели» 📅 16 октября в 14:00 (МСК) Покажем AMAIA вживую и разберем: 💠 чем ИИ-слой отличается от чат-ботов и систем автоматизации; 💠 как в рознице ИИ-агенты находят застрявшие заявки и следят за ценами конкурентов; 💠 как AMAIA оценивает загрузку ресурсов и помогает планировать размещение проектов; 💠 почему выбор модели решается настройкой; 💠 как начать: один процесс, один доступ, один человек. 🤩 Участникам — специальные условия запуска AMAIA. Зарегистрироваться

Ритуальная кувалда окроплена машинным маслом, молитвы вознесены, еретические накопители готовы к физическому экзорцизму 🦾 Типичный 😡 Сисадмин

Суровое будущее вырисовывается. Шутки про тайгу не такие уж и шутки. Типичный 🦆 Сисадмин

🤙 Природа настолько очистилась, что в прод вернулись старые добрые дедики...Yandex Cloud советует спасаться с подгоревших виртуалок Сасово на физические дедики Bare Metal 🌎 Доступность зоны ru-central1-b пока не восстановлена. Наша команда продолжает устранять последствия инцидента. Рекомендуем по возможности использовать альтернативные варианты восстановления сервисов, в том числе выделенные физические серверы Bare Metal. Cледующую весточку отложили до завтра в 12:00 мск... впереди одиннадцать часов тишины, до утра оживить площадку в Сасово невозможно даже теоретически ⚰️ З.Ы. Вот она, ирония судьбы: больше десяти лет на всех конфах нам говорят, что будущее за эластичными микросервисами, подами и бессерверными функциями. И вот... облачный провайдер предлагает клиентам юзать выделенные физические серверы. Получается, что облачный инжиниринг сделал полный оборот и вернулся в благословенный 2005 год... ностальгия в глаз попала 😭 Типичный 🥸 Сисадмин

🚪 Пресс-служба Яндекса: компания продолжает оценивать ущерб в Сасово и подтвердить возможность восстановления оборудования пока не может. Главный вопрос, от которого сейчас зависит будущее отечественного бигтеха... что там с Червоненкисом и Ляпуновым. Если пожар или тушение добрались до машинных залов этих двух суперПК, то это же две трети вычислительных мозгов Яндекса, на которых обучаются главные нейросети страны, и четверть коммерческого облачного рынка РФ. Типичный 👨‍🦳 Сисадмин

🚨Yandex Cloud выкатил самый тревожный апдейт за эти сутки... в ближайшее время ничего не поднимется ⚰️ Если кто-то еще питал иллюзии, что к ночи рубильник поднимут и базы в Сасово оживут, увы: Ситуация с доступностью зоны ru-central1-b пока не изменилась. Наши специалисты продолжают восстановительные работы, однако, по текущим оценкам, возобновить работу зоны в ближайшее время не удастся. Рекомендация остается прежней по возможности задействовать альтернативные планы по восстановлению работы сервисов. Если чья инфраструктура, БД или единственные копии снапшотов жили исключительно внутри зоны ru-central1-b - сочувствую. Но урок по Disaster Recovery должен быть усвоен. Что же там внутри ДЦ... 😱 Типичный 🥸 Сисадмин

👨‍🦳 Хороники яростной битвы инженеров Yandex Cloud в Сасово с законами физики. Условно разобью по актам для удобства чтения. 🟢Акт первый: Просто моргнул свет. В 01:44 ночи дежурный мониторинг выкатывает уведомление "Нарушение электропитания в зоне доступности ru-central1-b". Тип инцидента - Unavailable. Следом простыня из трех десятков критических сервисов, от управляемых кластеров Kubernetes и баз данных PostgreSQL до YandexGPT API. И сообщение от саппорта: "Рекомендуем по возможности перенести нагрузку в другие зоны". Любой девопс, пытавшийся в час ночи на коленке мигрировать терабайтные стейтфулсеты и реплики баз данных в соседние зоны, в этот момент 100% нервно заскрежетал зубами... заподозрив неладное 😶 🟢Акт второй: Давка на выходе. К пяти утра наступило следствие любой облачной эвакуации. Тысячи перепуганных клиентов ломанулись поднимать упавшие виртуалки в зонах ru-central1-a и ru-central1-c. Итог закономерен... работающие ДЦ захлебнулись. В 04:55 статус-бот признает, что в других зонах начались проблемы с созданием новых инстансов, баз данных и нод k8s. Свободные аллокации железа тупо кончились. Если у кого не было заранее зарезервированных и оплаченных мощностей в другом регионе, то увы... очередь с ошибками. 🟢Акт третий: Спам в консоли и смерть Serverless. Ближе к обеду бота мониторинга начало лихорадить... посыпались сообщения об исключении сервисов из инцидента. Выглядело это так, будто инженеры в вручную разруливали связность, по живому пересобирая IAM, VPC, DNS и сетевые балансировщики. Но стоило отчитаться о локализации, как в 14:33 легли Cloud Functions и Serverless Containers... бессерверная магия скорчилась под каскадной нагрузкой уже в масштабах всего облака. 🟢Акт четвертый: Нервный тик контрол-плейна. Ближе к вечеру уставшая дежурная смена подарила сетевикам отдельный приступ тахикардии. В 16:46 бот внезапно добавил к списку аварийных зон… ru-central1-d. Ровно через шестьдесят секунд зону убрали обратно. То ли у кого-то дрогнула рука, то ли соседний кластер на секунду захлебнулся от перегруза - хз. Представляю седые волосы админов, которые в эту минуту смотрели на дашборд 👨‍🦳 🟢Акт пятый: Признание неизбежного. Понадобилось почти четырнадцать часов сообщений про "перебои с питанием", чтобы в 15:19 назвать вещи своими именами. Формулировка сменилась на реальную: Причиной инцидента стал пожар в результате атаки БПЛА на дата-центр в Сасово... Работа дата-центра полностью остановлена. 🤔 Что можно тут сказать... невозможно построить надежную распределенную систему без кратного переизбытка физического железа. Без огромного холодного пула мощностей любое падение крупного ЦОДа гарантированно запускает каскадный отказ всей платформы. Типичный 🥸 Сисадмин

🔥 Еще про пожар в рязанском ДЦ Яндекса Сасово. Еще недавно по сети гулял душевный корпоративный румтур, где местный бородатый инженер Вова в худи весело рассекал на электросамокате между полями серверных залов. А там... собственные серверные стойки четвертого поколения, порты на 400 Гбит/с, толстенные оптические стволы на 864 волокна, спортзал и ламповую сауну, где админы могли попариться 🧖‍♂️ Минувшей ночью сауна расширилась до каких-то... масштабов. Ждём офф отчетов, но как бы небыло всё куда страшнее для индустрии в целом. Дело в том, что ДЦ в Сасово, помимо веб-серверов и виртуалок. находятся два из трех главных суперкомпьютеров России... это Червоненкис и Ляпунов (третий, Галушкин, базируется во Владимире) Так вот Червоненкис - самый производительный вычислительный монстр в стране и всей восточной европе, который еще в 2021 году с ноги влетел на 19 место мирового рейтинга TOP500 суперПК. Именно на тысячах прожорливых тензорных ядер Червоненкиса и Ляпунова круглосуточно обсчитывались нейросетевые модели, обучалась YandexЖПТ, допиливался беспилотный транспорт и тренировался суверенный ИИ 😱 ХЗ как обстоят дела в цифрах и тд, но если у вас сгорел кластер с БД заказов или упала нода кубера, то вы морщитесь, достаете бэкапы, перенаправляете балансировщик на Владимир или Калугу и терпите просадку пинга. Это всё лечится. А что если пострадали стойки с тысячами интерконнектов и топовыми ускорителями A100 или H100... как это восстанавливать? 🤙 Посудите сами... на дворе 2026 год. Экспортный контроль закручен до скрипа, вторичные санкции давят серые каналы, а дефицит памяти поднял цены на ии-ускорители. Купить и привезти тысячи высокопроизводительных GPU по параллельному импорту через десятые руки сегодня - это та еще задача по суммам и времени 🤔 В итоге каскадный коллапс половины Рунета как бы не стал лишь верхушкой айсберга. З.Ы. Инженеру Вове и дежурной смене искреннее сочувствие... разгребать всё это. Типичный 🥸 Сисадмин

🔥 Каскадный коллапс Рунета. Мрачные прогнозы воплотились. Первопричиной цифрового домино стал кинетический импакт от удара беспилотников по ДЦ Яндекса в рязанском Сасово... на объекте начался пожар, и площадку пришлось полностью обесточить и заглушить. Инженеры Yandex Cloud написали о потере одной зоны доступности и начали экстренную переброску мощностей и терабайтов живого трафика в резервные кластеры. Но в распределенных сетях чудес не бывает... законы физики и пропускной способности каналов нельзя отменить директивой руководства 😶 Когда огромная цифровая экосистема начинает единовременно перенаправлять колоссальные потоки данных между регионами, на смежных узлах связи и точках обмена начинается тектонический сдвиг. Рикошетом накрыло Selectel, на котором висит добрая треть коммерческого Рунета. Около четырех часов дня на их статусной странице замигал красный алерт 🚨... не выдержала система фильтрации трафика DDoS Curator. Архитектурная ирония ситуации в том, что защита от DDoS создана для отсева мусорных сетевых пакетов, но когда аварийный трафик с перегруженных узлов и соседних ДЦ начинает лавинообразно перестраивать маршруты, скрубберы фильтрации сами превращаются в узкое горлышко. Как только ложится защитный шлюз, весь трафик клиентов либо улетает в пустоту, либо запросы упираются в мертвую стену таймаутов. В итоге клиенты облака легли синхронно, породив идеальный шторм отказов по всей стране. З.Ы. Похоже, в смету на колокейшна пора вносить бронированные колпаки на крышу серверной. Типичный 🥸 Сисадмин

Судя по розеткам - не редкий случай ⚡️ Типичный 🥸 Сисадмин

Часть сервисов Яндекса легло после атаки беспилотников по ДЦ в Сасово Рязанской области. Почался новый виток. Бэкапьтесь, резервируйтесь. Типичный 🥸 Сисадмин

Четыре жилы из восьми ещё целы, значит 100 мегабит пока есть. Работает - не открывай! 🏥 Типичный 🥸 Сисадмин

👮‍♂️ XBox DNS (сервис для доступа к ChatGPT, Claude, Gemini, Google Antigravity и другим) отлетел в бан. Российский хостер просто заблокировал их аккаунт по прямому сигналу из ЦМУ ССОП (структура РКН). Защита от тлетворного влияния западных нейросетей. Типичный 🥸 Сисадмин

В ленте промелькнул эпичный скрин с очередного форума эффективных менеджеров, которые в телевизоре 🧟‍♂️ уже вовсю рисуют фронтенд нашего будущего. И судя по слайду, бета-тест походу окончен. Предлагаю расчехлить СПГС (синдром поиска глубинного смысла). Поехали... 🟢Гиперперсонализация (или иллюзия выбора). "Адаптация контента под потребности" и "баланс развлечений" - ИМХО, это техническое описание финальной стадии закукливания инфопузыря. Юзверю больше не нужен поиск, ему не нужно ничего серфить. Алгоритм сам решит, какую пайку сгенерированного комбикорма выдать. Шаг влево, шаг вправо - пресекается рекомендательной системой. По сути - идеальная капсула для удержания в состоянии легкого дофаминового транса 🤗 🟢 Сгенерированный контент, где "рост объемов ИИ-контента" теперь признан целевым показателем на госуровне. Нейронка нагенерит тонны синтетического мусора, боты будут писать комменты, другие боты будут их лайкать. Кожаному мешку в этой цепочке отведена роль зрителя конформиста. 🟢 "Анализ прогресса и усвоения" - звучит как тотальная телеметрия когнитивного профиля. Система будет логировать всё... 😎. Из этих логов будет строиться "персональная траектория развития" 🎩 И всё это под красивым соусом равного доступа к самореализации. З.Ы. Как говорил один Дед... если продукт бесплатный, значит продукт - это ваша "персональная траектория" 👨‍🦳 Типичный 🥸 Сисадмин

🐲 Китайцы достроили искусственное солнце aka крупнейший в мире сверхпроводящий магнит для термоядерного реактора. Немного спеков магнита: 🟢 Вес - 582 тонны. 🟢 Габариты - 21 метр в длину. 🟢 Емкость - 120 гигаджоулей магнитной энергии. Внутри токамака (установка для удержания плазмы, где происходит магия термояда) плазма разогревается до 100 млн градусов С, что в шесть раз горячее ядра солнца. Если эта субстанция коснется физических стенок реактора, то им настанет мгновенный кирдык, а реакция заглохнет. Поэтому китайцы собрали гигантский магнит... он будет генерировать лютое магнитное поле, которое сработает как невидимая клетка. Плазма будет левитировать в вакууме, не касаясь железа, пока ядра дейтерия сливаются воедино, выделяя гигантское количество энергии ⚛️ Если (или когда) китайцы доведут проект до ума, то мир получит доступ к контролируемому термояду. Это базовая мечта человечества - бесконечная, чистая энергия почти на халяву. ПРОФИТ очевиден. Типичный 🥸 Сисадмин

👮‍♂️ МВД хочет от Дурова коды доступа ТГ... прогрев к Великой Блокировке 2.0? По версии ведомства, ТГ стал главной площадкой для продажи веществ (после даркнета) и вовлечения подростков в криминал. Врио начальника наркоконтроля выдал на заседании потрясающий тейк: У нас таких возможностей, как у американских спецслужб, нет, и французских, чтобы вызвать Дурова и получить коды доступа. Разработчики E2E-шифрования в этот момент 🗿🗿🗿 Отдаст ли Дуров файл telegram_keys.txt, где хранятся коды от всех переписок? 🤔 Типичный 🥸 Сисадмин

Спасибо @itmemas

Там не грязь, там секретные специи, настоянные с 2007 года. ZyXEL P-660 ❤️ Типичный 🥸 Сисадмин