Google выяснили откуда берётся креативность у диффузионных моделей Все мы видели, как Midjourney и тд. генерят картинки, которых никогда не существовало, причём ни одна из них не копирует напрямую из обучающей выборки. И многих интересовало, откуда эта креативность берется? Новая работа Google Research предлагает свое математическое объяснение этому и открывает код, полную статью. Авторы говорят, что креативность диффузионных моделей - не случайный побочный эффект, а математическое следствие того, как нейросети обучаются. Дело в том, что нейросети в принципе не в состоянии выучить скор-функцию идеально точно и с резкими перепадами. Вместо этого они выучивают её сглаженную версию. Благодаря этому между точками обучающих данных появляются плавные переходы - «мосты», по которым модель и генерирует новые, ранее не виданные примеры. То есть креативность - предсказуемое следствие того, как обучаются нейросети, а не случайность. И креативностью можно управлять.