Мы живем в пору context engineering/management. Вышел очень интересный обзор об 20-летней трансформации взаимодействия машины и человека для постановки задач. Кстати полная версия у моего соседа по цеху тут. Основной поинт, что постановка задачи через использование контекста моделей (по факту окна входа) стремилась к снижению энтропии и упорядочиванию входных данных. 🧠 В то время как, человек получает на вход множество модальностей данных, да еще и в разном качестве, машине мы стараемся передать эти наблюдения в другой форме. К примеру, вы учите бустинг, и обязательно проводите EDA, очистку данных, фиче инжиниринг и кормите итоговые плоские таблички для обучения. Потом появились seq2seq модели, а еще позже GenAI. Чем продвинутее становились архитектуры, тем меньше нужно было снижать энтропию входа. Сейчас мы можем в некотором виде подавать текст в модели или агентные системы, через промпт инжиниринг и контекстный менеджмент. В том числе, мы можем кормить и картинки и аудио и видео, используя дополнительные кодировщики. Согласен, что это все ещё не данные as is, как видим и осязаем их мы, и энтропия по отношению к этому тоже снижена, но в идеале она будет стремиться к изначальному виду. Авторы поднимают вопрос такого развития, что ИИ-технологии достигнут уровня сначала человека и смогут принимать окружающую информацию AS IS, воспринимая среду без трансформации, а потом, став еще продвинутее, будут менять среду и ее энтропию, упрощая ее, наоборот уже для человека. Такой вот реально большой оберегающий брат. Или не оберегающий. 🧠 Очень интересный взгляд. А сейчас, по мнению авторов, мы живем в эру контекст менеджмента и инжиниринга. Если вам интересно об этом почитать, советую вот это репо. И действительно, все работы и решения основаны сейчас на том, чтобы наполнять контекст модели, ограниченый max token lens только нужной информацией, и не помещать или удалять от туда ненужную информацию. Отсюда, кстати, и концепция внешней памяти, и RAG темы, и FC/TC, присыпанные доп. инженерией очистки/умных ножниц ✂️ и сжатия/саммаризации только полезной информации для контекста 📊. Примером таких операций может быть: 1. Удаление рассуждений из видимого контекста модели после данного на их основе ответа. 2. Вырезка из контекста подсказок из RAG, memory и прочих данных, которые могут спутать модель, если их там оставить. Ведь никто не исключал протухания данных. 3. Написание функций сжатия и саммаризации, а также улучшения экстрактивных механизмов моделей для этого. И многое другое... Остается один момент, это вопрос того, что контекст инженерия снижает энтропию вспомогательно, а если путь к AGI - то нужны новые решения, которые не требуют инженерии вокруг или сводят ее к минимуму. Зачастую вопрос повышения энтропии входа коррелировал вообще с уровнем развития вычислительных технологий. Бывает так, что методология в теории есть, но техника не позволяла ее эффективно реализовать, а когда позволяет происходит переход на новый уровень развития. Но что это должно быть и будет? Поживем, увидим, у меня нет ответа на этот вопрос.