A1intelligence — канал об искусственном интеллекте

Децентрализованный ИИ продолжает удивлять Команда Leyten показала проект Shard, который запустил фронтир-модель GLM-5.2 на 744 миллиарда параметров — без единого дата-центра. Модель разбили по слоям на 6 видеокарт RTX PRO 6000, разбросанных по шести штатам США и соединённых через обычный интернет. Скорость — около 30 токенов в секунду, то есть моделью реально можно пользоваться, а не просто смотреть на демку. Ни одна карта не держит модель целиком: каждая отвечает за свой кусок, а задержки сети прячет speculative decoding — лёгкая модель-черновик предсказывает токены, а большая их проверяет. Работает это ещё и потому, что GLM-5.2 — открытая MoE-модель от Z.ai: из 744B на каждый токен активны лишь ~40B. Получается, мощный фронтир можно собрать из компов в разных городах — наглядный шаг к ИИ, который живёт не только в облаках бигтеха. Подробнее — Shard на GitHub #полезныеинструменты