Как Nokia и Optus завалили апгрейд и убили людей Расследование сентябрьского коллапса австралийского телеком-оператора Optus показало, что всё началось с рутинного обновления брандмауэров. Из 18 запланированных работ 15 прошли нормально, а вот на 16-м всё пошло под откос. Optus выдала подрядчику Nokia некорректные инструкции, которые вели к изоляции сетевых устройств. Nokia, в свою очередь, решила применить устаревшую процедуру образца 2022 года, заведомо неподходящую для задачи. Optus присвоила работам статус срочных, что на деле стало синонимом «и тааак сойдёт». Инженеры пропускали митинги по оценке рисков, а после апгрейда проигнорировали явные признаки беды в мониторинге. Финальная проверка в 02:40 показала, что уровень сбоев растёт вместо падения, но тревогу так и не подняли. Потому что смотрели не на те графики, использовали недостаточно детальные данные и просто боялись побеспокоить старших коллег. Как итог, 14 часов тишины на линии экстренных вызовов, 455 потерянных звонков, две подтверждённые смерти, из-за того, что люди не смогли дозвониться в скорую помощь. Независимый эксперт доктор Керри Шотт в своём докладе не нашла ни одной сложной технической причины. Только не те процедуры, никаких проверок и полное игнорирование предупреждений. Параллельно выяснилось, что с некоторых старых Samsung-смартфонов вообще нельзя дозвониться до экстренных служб в сетях Optus, TPG и Telstra. И это уже стоило как минимум одной жизни. Операторы пытаются перенаправлять трафик, но серые аппараты, купленные онлайн, ломают всю систему. Типичный 🎄 Сисадмин