A1intelligence — канал об искусственном интеллекте

Запускаем любые модели на своих компах — вышел фреймворк Mesh LLM, который позволяет объединить все ваши GPU в одну мощную машину. Mesh LLM — open-source фреймворк для распределённого запуска больших языковых моделей по схеме peer-to-peer между вашими компьютерами. Благодаря технологии Skippy stage splits, модель разбивается на слои и автоматически распределяется между всеми доступными GPU, даже если ни один компьютер не в состоянии обработать всю модель целиком. Теперь вы можете запускать даже 70B+ модели локально, не полагаясь на дорогие облачные решения. Пробуем — здесь. #opensource #полезныеинструменты