LLM на 28 млн параметров запустили на микроконтроллере за $8 😨 Энтузиаст смог запустить языковую модель локально на ESP32-S3. При этом устройство генерирует текст со скоростью около 9,5 токена в секунду и выводит результат на маленький экран. Секрет в архитектурном трюке: 25 млн параметров хранятся во флеш-памяти, а в оперативной памяти остается только «мыслящее ядро» модели. GitHub проекта здесь. Ждем, когда LLM запустят на тостере 😁