Время Валеры

N-граммы ещё нужны Забавно наблюдать, как вещи из древнего NLP мира продолжают приносить пользу в эру генеративных моделей. Биграммы, триграммы, статистики последовательностей - казалось бы, кому это нужно И вот Herman Brunborg показал решение для NanoGPT Speedrun, которое ускоряет NanoGPT в 6 раз, с 39.9 до 6.7 секунд . В основе - трансформер, которому помогают n-граммы. Идея довольно простая: посмотреть, встречалась ли уже такая последовательность токенов, и подсказать модели, что идет после неё и с какой вероятностью и надежностью. Здесь используются последовательности длиной 6, 10 и 20 токенов. Трансформер просто получает дополнительную информацию из отдельного индекса. GitHub Условный пример: какой-то фрагмент встретился в текстах сто раз, и в девяноста пяти случаях после него было одно и то же слово. Это полезная подсказка. Зачем обязательно заставлять нейросеть запоминать такую закономерность исключительно в весах, если можно ещё и дать подсказку. Причём придумать подсказку — половина дела. Нужно успеть построить и использовать индекс, иначе всё ускорение съест работа с ним. У Brunborg CPU обрабатывает корпус из 37 миллиардов токенов параллельно с обучением нейросети. То есть результат получен в том числе за счёт того, что в работу включили дополнительные ресурсы машины. Поможет пост Игоря про домашку Anthropic. В самом разборе Игорь поясняет за SIMD - когда одна инструкция обрабатывает сразу несколько элементов, работу с памятью и планирование параллельных операций и последовательно сокращает выполнение задачи со 147 тысяч до 2262 тактов, ускоряя примерно в 65 раз. Очень наглядный пример того, зачем вообще разбираться, как исполняется твой код. Оговорка: это конкретный бенчмарк, где помогают точные совпадения с обучающими текстами. Х6 (Х5?) не гарантируется, но трюк хороший и опять же - 6.7 Оговорка номер 2. Transformer trained with hints performs slightly worse without those hints than a comparable model trained without retrieval. Возможно AGI так не построить