🚀 Новый алгоритм LLM: Speculative Speculative Decoding SSD - это инновационный алгоритм для вывода LLM, который обеспечивает высокую скорость и точность. Он использует параллельное предсказание от малой модели, что устраняет задержки в процессе генерации. Поддерживает различные модели и оптимизации для повышения производительности. 🚀Основные моменты: - Параллельное предсказание для ускорения вывода - Поддержка моделей Qwen3 и Llama3 - Оптимизированные алгоритмы и параллелизм - Интерактивный чат с поддержкой нескольких моделей 📌 GitHub: https://github.com/tanishqkumar/ssd