Только в момент «застревания» AI-модели появляется шанс на прорыв Большинство стартапов считают, что ускорить обучение нейросети можно лишь за счёт более мощных GPU. Один из основателей небольшого AI-сервиса в Москве решил проверить гипотезу иначе: вместо покупки новых видеокарт он намеренно ограничил память модели до 4 ГБ, заставив процесс «застрять» на этапе градиентного спуска. Через два дня он обнаружил, что в момент «зависания» алгоритм начал генерировать более разнообразные представления данных. На примере классификации изображений это выразилось в росте точности с 78 % до 84 % при том же наборе параметров. Причина проста - ограничение заставило сеть искать альтернативные пути снижения функции потерь, а не «запирать» решение в локальном минимуме. В итоге команда использовала полученный «застревший» вариант как основу для новой модели, а экономия на облачных GPU составила 30 % от запланированного бюджета. При этом время разработки сократилось, потому что не пришлось ждать поставки нового оборудования. 1) Ограничения могут стать источником инноваций, а не только препятствием. 2) Периодический «застой» в обучении стоит рассматривать как эксперимент, а не как сбой. 3) Экономия ресурсов часто приводит к более креативным решениям, чем простой рост мощности. Вывод: когда система «запинается», не спешите её «починить» - дайте ей шанс выйти за рамки привычного. Бизнес Империя • Digital Finance - Подписывайтесь! Реклама: @AS_katrin