YC Paper Club: что дальше после LLM + GPU? (Рубрика #AI) Интересное видео для тех, кто хочет узнать, а что там дальше после LLM + GPU :) В YC Paper Club собрали разговор про вычисления на свете, нейроморфные чипы и живые нейроны. У четырёх участников складывается общая рамка: следующий скачок эффективности ИИ может потребовать одновременно другого железа, другой архитектуры моделей и другого способа обучения. 1️⃣ François Chaubard, ведущий из Focal Systems, начинает с того, что GPU, backpropagation и современные модели развивались вместе. Поэтому алгоритм, который плохо выглядит на GPU, может оказаться интересным при другой стоимости операций. Он исследует обучение без обратного прохода: немного меняем веса в случайном направлении, сравниваем результаты и решаем, куда двигаться. Для больших моделей таких проб нужно слишком много. Его подход SOMA — разбить модель на небольших экспертов, чтобы уменьшить шум оценки. А дальше возникает ставка: если прямые проходы станут очень дешёвыми, например в оптике, экономика такого обучения изменится. Прогноз Chaubard об отказе от backpropagation через десять лет стоит воспринимать именно как исследовательскую ставку. 2️⃣ Ilker Oguz, исследователь оптических вычислений из EPFL, теперь постдок в Stanford, показывает, где эта идея встречается с физикой. Свет проходит через оптические элементы и выполняет нужное преобразование. Но вокруг него остаются память, калибровка, нелинейные операции и преобразования электрических сигналов в оптические и обратно. На них выигрыш может закончиться. В его эксперименте с диффузионной генерацией изображений алгоритм подстроили под оптику: одни и те же веса многократно используются на последовательных шагах. Так ограничение устройства становится принципом построения алгоритма. Пока демонстрация ограничена MNIST и Fashion-MNIST, а расчёт экономии энергии предполагает пассивные фиксированные элементы; прототип использует программируемый модулятор. 3️⃣ Alok Vasudev, инженер по образованию и партнёр венчурной фирмы Standard, добавляет полезный скепсис к попыткам скопировать мозг. Его устройство и способы обработки информации эволюционировали вместе. Перенос отдельного механизма на кремний ещё не переносит его эффективность. По его оценке, ближе к практике решения, которые сближают память и вычисления, сокращая перемещение данных. А более буквальное воспроизведение работы мозга остаётся исследовательским направлением. Здесь хороший вопрос к любому нейроморфному проекту: какое конкретное ограничение помогает снять сходство с биологией? 4️⃣ Sean Cole, автор алгоритмов эксперимента с Cortical Labs, доводит эту историю до живых клеток, управляющих Doom. Цифровой кодировщик превращает состояние игры в электрическую стимуляцию, клетки отвечают импульсами, декодер переводит их в действия. И тут самая интересная деталь. По словам Cole, ранний декодер получился настолько мощным, что мог играть даже при обнулённых сигналах от клеток. Команда уменьшила его до простого линейного считывания и провела проверки, чтобы убедиться, что сигналы нейронов действительно нужны для результата. Иначе можно получить впечатляющую демонстрацию, в которой всю полезную работу выполняет обычный компьютер. Итого: это интересное видео про исследования, что не относятся к текущему мейнстриму, но у которых интересные перспективы. #AI #Hardware #Research #Engineering