Google представили новый метод распределённого обучения ИИ в ЦОДах по всему миру Decoupled DiLoCo - новая архитектура распределённого обучения ИИ, которая решает 3 проблемы сразу: стоимость, отказоустойчивость и гибкость железа. Основная идея - архитектура делит большие обучающие прогоны на отдельные «острова» вычислений с асинхронным потоком данных между ними. Сбой чипа в одной области не прерывает прогресс остальных. Decoupled DiLoCo продолжает обучение после потери целых learner units, а затем бесшовно реинтегрирует их при восстановлении. Decoupled DiLoCo снижает потребность в пропускной способности с 198 Гбит/с до 0,84 Гбит/с при работе через 8 датацентров - снижение на несколько порядков по логарифмической шкале. Decoupled DiLoCo позволяет смешивать разные поколения TPU v6e и TPU v5p в одном обучающем прогоне. Чипы разных поколений, работающие на разных скоростях, всё равно показывают то же качество ML, что и прогоны на одном типе чипов.