PRO Hi-Tech

@prohitec · Russian · active

Subscribers 69.6K Subscribers, last 30 days: 69.6K → 69.6K +0 24h
Reach per post (ERR) 22.6%15.7K avg views
Posting 9.2/day last 2 hours ago
Reactions per 1K views 23.7 🤡 😁 👍

Модель на 120 млрд параметров запустили на распределенном кластере из шести потребительских устройств Реддитор объединил Galaxy S24+, ПК с RTX 3060 (12 ГБ), бюджетный Windows-ноутбук и три разных MacBook/Mac mini в единый вычислительный кластер. Система смогла загрузить 4-битную квантованную версию LLM-модели gpt-oss-120b, требующую минимум 47 ГБ памяти. Технически запуск реализован через пайплайн-параллелизм (pipeline parallelism). Вместо полной загрузки весов на одно устройство слои нейросети были последовательно нарезаны и распределены между шестью узлами по локальной сети. Основную нагрузку взял на себя рабочий ПК, предоставивший 28.7 ГБ ОЗУ и ресурсы RTX 3060. Из-за задержек межпроцессного взаимодействия и разнородного железа скорость генерации составила всего 1.1 токена в секунду, что делает проект скорее доказательством концепции, чем практическим инструментом.

Views over time

05K10K15K14 Oct 19:1811 Nov 04:0415.5K14 Oct 19:18: 0 views11 Nov 04:04: 15,500 views
Snapshots we took after posting.
WhenViews
14 Oct 2026, 19:180
11 Nov 2026, 04:0415.5K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.