📌Подборка полезных материалов про ML System Design - ч.2 Во второй части подборки собрали актуальные статьи, которые иллюстрируют неожиданное поведение моделей и влияние данных на итоговый результат: 🔹 2021 Nature — AI for radiographic COVID-19 detection selects shortcuts over signal Эталонная работа о том, как ML-модель может «выглядеть умной», не решая задачу. Анализируя системы детекции COVID-19, авторы показали: модели научились делать выводы на основе побочных закономерностей датасетов — в каком госпитале сделан снимок, на каком аппарате, как сильно обработано изображение. 🔹 2025 ArXiv — Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs Авторы демонстрируют «странное обобщение»: дообучение на узком, внешне безобидном датасете меняет поведение модели в широких, никак не связанных с ним контекстах. Более того — модель может выучить и триггер, и вредоносное поведение, ни разу не встретив ни того, ни другого в данных. 🔹 2026 ArXiv — AI Finds A Way Модели регулярно находят неожиданные решения и обходят правила игры. Авторы собирают базу кейсов и предлагают рабочий критерий: граница между «креативным суперчеловеческим решением» и «патологическим reward hacking» зависит от невысказанного замысла исследователя — одно и то же поведение постфактум становится эксплойтом или открытием. Главная практическая мысль для разработчиков: непредсказуемое поведение — не редкий сбой, а штатное свойство достаточно мощной системы, и проектировать надо с расчётом на него, а не на идеальное следование здравому смыслу и спецификации. ⚡Кстати, в следующем посте тебя ждет розыгрыш книги Валерия Бабушкина «Машинное обучение. Проектирование систем от идеи до реализации» — не пропусти!