А как же пойти покурить, пока нейронка отвечает Стартап Taalas придумал, как сделать ответы ИИ действительно быстрыми и при этом частично разрешить кризис памяти: > Они реализовали подход Direct-to-Silicon — ИИ-модель буквально впаивается в кремний > Благодаря этому их чат-бот отвечает практически моментально — 17,000 токенов в секунду вместо 500-2000 токенов в секунду у конкурентов > При этом решение от Taalas работает без дорогой памяти HBM и сложного охлаждения. Чип выходит в 10 раз дешевле аналогов и потребляет в 10 раз меньше энергии > Теперь к минусам: таким образом можно запустить только одну модель — ту, которую «запекли» в кремний. Сейчас это Llama 3.1 8B, но в будущем появятся и другие > Taalas обещает, что от выхода модели до появления чипа с ней будет проходить два месяца Проверить скорость ответа можно тут.