Тимур Угулава

🧠 Нейронки быстрее учатся там, где их можно проверить Прочитал тут свежую статью Эндрю Ына — сооснователя Coursera и одного из создателей Google Brain, — где он рассуждает о том, как мы порой переоцениваем нейромозги. А именно, если нейронка отлично решает сложную математическую задачу, не стоит ждать, что маркетинговую стратегию она тоже выдаст на ура, легко и быстро. Это принципиально разные по своей сути задачи. Дело в том, что в математике решение можно проверить. При написании кода тоже можно запустить тесты и увидеть, справляется ли он с конкретными проверками. То есть для нейросети здесь всё более или менее однозначно: есть удачное решение и есть ошибочное. Человек здесь нужен постольку-поскольку. Скоро его роль в таких задачах вообще снизится до нуля. А вот как автоматически проверить, правильно ли нейросеть ответила раздражённому клиенту? Какую функцию стоит добавить в новый продукт, чтобы он стал популярнее? Хорошую ли стратегию развития предложил электромозг? И, наконец, коронное: интересный ли текст написан или унылое гуано? 😼 Бывает и так, что при одинаковых вводных возможны вообще разные исходы. Например, если клиент написал «дорого», уйдёт он или купит после объяснения ценности? Вот здесь и кроется вся заковыка: в таких задачах не существует однозначно правильного ответа. Оценка зависит от целей и контекста. И обучать нейросеть такому куда сложнее. Минимальную долю ошибок, которая остаётся даже у лучшего возможного предсказателя при доступной информации, называют ошибкой Байеса. Дополнительный контекст может её уменьшить. Отдельная сложность возникает, когда человек ещё сам с собой или с командой не договорился, какой результат считать хорошим. Ну это классика. ✦ И ЧТО С ЭТИМ ДЕЛАТЬ Переходя от теории к практике, напрашивается очевидный вывод: нужно максимально погружать нейронку в контекст, а не давать односложные задачи. Например: ⓵ Задать критерии. «Сделай хороший отчёт» — слишком расплывчато. Какие данные нужны, откуда их брать, какие расчёты должны сходиться? Что такое «хороший отчёт»? ⓶ Дать примеры. Вот удачный результат, вот неудачный. И объяснить разницу: что именно здесь подходит, а здесь мешает. ⓷ Добавить деталей. Кто клиент, что ему уже обещали, какие есть ограничения. Если важной информации не хватает — пусть агент спрашивает. ⓸ Проверять изменения. Поправили инструкции — прогнали на реальных задачах, включая те, которых в примерах не было. Посмотрели, стало ли лучше. Дали обратную связь. Появляется понятный способ улучшить результат вместо бесконечного «ну сделай нормально, ты меня понял». Так что выбирать критерии, приносить недостающий контекст и разбирать спорные решения всё ещё кому-то надо. Кожаные пока ещё пригодятся. Это радует! 😹