Анализ данных (Data analysis)

@data_analysis_ml · ai · Russian · active

Subscribers 52K Subscribers, last 30 days: 52K → 52K +0 24h
Reach per post (ERR) 11.1%5.8K avg views
Posting 5.0/day last 1 hour ago
Reactions per 1K views 31.5 ❤ 👍 🔥

openTPU: открытый ускоритель для декода LLM на SystemVerilog, пока только в симуляции FeSens выложил openTPU, небольшой ускоритель для инференса LLM: RTL на SystemVerilog, набор инструкций с симулятором, компилятор и хост-софт для PCIe-карты на Kintex-7. Лицензия Apache 2.0. Веса, активации MXU и KV-кэш хранятся в int8, остальное считается в fp32. В симуляции Verilator декод MLP достигает 98,4% от roofline, а полный слой внимания 82,3%. Qwen3-0.6B, LFM2.5-230M и Qwen3.5-0.8B запускаются на симуляторе. Проекция при 100 МГц: около 15 токенов в секунду на Qwen3-0.6B, но это расчёт, а не измерение. Cборки в Vivado и запусков на железе не было. Совпадение с fp32-выводом Hugging Face есть у двух из восьми тестовых промптов на 16 токенов, остальные расходятся из-за int8. https://github.com/FeSens/openTPU

Views over time

02K4K15 Oct 11:1012 Nov 06:464.5K15 Oct 11:10: 0 views12 Nov 06:46: 4,520 views
Snapshots we took after posting.
WhenViews
15 Oct 2026, 11:100
12 Nov 2026, 06:464.5K

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.