⚡️ Matrix Exponential Attention (MEA) - экспериментальный механизм внимания для трансформеров MEA предлагает альтернативу классическому softmax-attention. Вместо нормализации через softmax используется матричная экспонента, что позволяет моделировать более сложные, высоко-порядковые взаимодействия между токенами. Ключевая идея Внимание формулируется как exp(QKᵀ), а вычисление экспоненты аппроксимируется через усечённый ряд. Это даёт возможность считать внимание линейно по длине последовательности, не создавая огромные n×n матрицы. Что это даёт - Более выразительное внимание по сравнению с softmax - Higher-order взаимодействия между токенами - Линейная сложность по памяти и времени - Подходит для длинных контекстов и исследовательских архитектур Проект находится на стыке Linear Attention и Higher-order Attention и носит исследовательский характер. Это не готовая замена стандартному attention, а попытка расширить его математическую форму. Для ML-исследователей и инженеров, которые изучают новые формы внимания, альтернативы softmax и архитектуры для длинных последовательностей. Экспериментально. Интересно. Не для продакшена - пока. GitHub: github.com/yifanzhang-pro/MEA