Попячечная 🌚

@popyachsa · Belarusian · active

Subscribers 6.1K Subscribers, last 30 days: 6K → 6.1K +10 24h · +30 7d
Reach per post (ERR) 9.4%570 avg views
Posting 95.8/day last 1 hour ago
Reactions per 1K views 18.5 😁 ❤ 💯
repost from Data Secrets

Физики из нескольких институтов сделали бенчмарк из 50 неопубликованных задач по теоретической физике Astra решила их все, за исключением одной. Авторы признаются, что в этой задаче формулировка была двусмысленной (ни одна из других моделей ее также не решила). Задачи составляли сами эксперты, подобраны они были так, что профильный специалист решает такую задачу примерно за день-два. Opus 5.5 справился с 46 задачами из 50. GLM-5.3 – с 21. А с Astra история вообще получилась довольно забавной. Все ответы были сведены к числам и проверялись автоматически. После прогона тесты показали, что модель неправильно решила несколько задач, однако Astra настаивала, что ее расчеты верны. Исследователи решили проверить собственные решения и действительно нашли в них ошибки, а решения модели оказались верными. Вывода не будет https://arxiv.org/abs/2610.16733

Views over time

025050075015 Oct 13:0511 Nov 11:2179515 Oct 13:05: 0 views11 Nov 11:21: 795 views
Snapshots we took after posting.
WhenViews
15 Oct 2026, 13:050
11 Nov 2026, 11:21795

Who shared this post

Posts in other channels we index that link to this one. (Forwards with a hidden source can't be traced.)

Nobody yet.