Man, Death & Ethics

Google предложили новый метод обучения LLM, когда модель учится непрерывно всю жизнь, а не на одном фиксированном датасете. Google Research предложили метод Sleep - периодическую фазу, в которой модель прекращает получать внешние данные и занимается внутренней переработкой знаний. Во сне модель перегоняет короткую нестабильную память в долгосрочную, а после генерирует синтетические сны для саморекурсивного улучшения. Практически это означает, что модели, которые не устаревают, они дообучаются сами, без переобучения с нуля.