FSCP

@f_s_c_p · Russian · active

Subscribers 13.6K Subscribers, last 30 days: 13.6K → 13.6K +0 24h
Reach per post (ERR) 6.5%890 avg views
Posting 24.1/day last 2 hours ago
Reactions per 1K views 6.1 😁 ❤ 🔥
edited

https://t.me/lovedeathtransformers/11033 У нас было 135 040 токенов словаря, 1 536 измерений скрытого состояния, шестнадцать слоёв энкодера, двенадцать слоёв декодера, двенадцать голов внимания и четыре KV-головы. Ещё у нас было 512 экспертов, top-8 маршрутизация, SiLU, RMSNorm, RoPE с YaRN и целых 128 тысяч токенов контекста. Не то чтобы всё это было категорически необходимо для инференса, но если уж начал собирать трансформер, становится трудно остановиться. Единственное, что меня беспокоило, — это 512 экспертов. Нет ничего более беспомощного, безответственного и испорченного, чем MoE, уходящий в полный роутинг. Я знал, что рано или поздно мы доберёмся и до него. _______ Источник | #derplearning @F_S_C_P ------- Поддержи канал подпиской -------

Views over time

02505007501K14 Sep 04:3612 Nov 09:5688414 Sep 04:36: 0 views12 Nov 09:56: 884 views
Snapshots we took after posting.
WhenViews
14 Sep 2026, 04:360
12 Nov 2026, 09:56884

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.