FSCP

@f_s_c_p · ai · Russian · active

Subscribers 13.6K Subscribers, last 30 days: 13.6K → 13.6K +0 24h
Reach per post (ERR) 6.6%893 avg views
Posting 24.2/day last 33 minutes ago
Reactions per 1K views 6.1 😁 ❤ 🔥
edited

Evidence of Linear Superposition in LLMs Языковые модели ЕЩЁ ЛИНЕЙНЕЕ, чем мы думали. Это, конечно, какой-то смех, но если тупо усреднить инпут-эмбеддинги у входных текстов, то LLM будет в аутпуте продолжать оба текста сразу. То есть она может параллельно о двух разных вещах думать и разбираться в усреднённых активациях, распутывая их. Похоже, это следствие линейности внутренних репрезентаций, которую я описывал в старой работе. У меня тоже получилось немного помочь с этой статьёй и залететь в соавторы, но я там скорее рядом постоял просто. Все лавры Паше Тихонову за крутую находку. Статья _______ Источник | #abstractDL @F_S_C_P ------- Поддержи канал подпиской -------

Views over time

025050075025 Sep 20:3812 Nov 09:5677925 Sep 20:38: 0 views12 Nov 09:56: 779 views
Snapshots we took after posting.
WhenViews
25 Sep 2026, 20:380
12 Nov 2026, 09:56779

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.