Data, Stories and Languages

​​Talk: breaking into machine learning - мысли по итогам Я полторы недели назад писал, что делал доклад для пакинстанских студентов. Участникам выдали электронные сертификаты с подписью оргов и меня. И вот уже который день они пишут в Linkedin посты об этом (приятно) Что интересно - прям видно бимодальное распределение: почти все пишут буквально один абцаз в стиле "послушал доклад, было норм, всем спасибо". И только 2-4 написали длинные тексты о том, что конкретно им понравилось. Первые посты я лайкаю, для вторых делаю репост Так сказать, организовываю RLAF - Reinforcement Learning with Andrey Feedback 😁 #ai #career

​​Cayley puzzles: 666 on claude vs codex Я уже рассказывал, что занимаюсь решением cayley головоломок. В этот раз я пошёл штурмовать головоломки 555 и 666. Почему они сложнее предыдущих? Дело в том, что с каждым увеличением пространства решений и диаметра нам всё сложнее решать задачу. Во-первых, модели у нас двигаются к решению итеративно - каждый дополнительный шаг увеличивает ошибку. Во-вторых, чем длиннее пути, тем сложнее собрать корректные лейблы для путей; плюс random walks чаще будут путаться и/или не достигать дальние точки. Я начал решать 555 теми же подходами, что и прошлые головоломки - первичная тренировка модели, потом шлифовка и beam search. Трансфомер пришлось отложить - он бы работал слишком медленно. После нескольких дней тренировки на A100 мне удалось получить прилично работающую модель. Она решает головоломки не всегда, но всё-таки стабильно выдаёт хорошие решения. Результат - второе место; на первом месте - участник команды 16-го места с Santa 2015. Дальше я попробовал сделать тоже самое для 666... и ну не работает оно. Модель учится плохо и головоломки совсем не решает - лейблы собирать тяжело, пути длинные, в общем сложно всё. От безысходности я решил обратиться к агентам. Взял claude code + opus 5.0 max и codex + 5.6 Sol Extra High. Обоим отправил один и тот же промпт - мол вот головоломка, вот как мы решали подобное раньше, давайте попробуем её решить классическими способами. Потом подбадривал модели, чтобы они её решили. Клод после пары итераций ответил, что решить невозможно, ваще. Решил 0 головоломок и сдался. Кодекс подумал, сделал мелкую итерацию и остановился. Я ему поставил goal - достичь скор 180к или меньше (это суммарная длина найденных путей решенных головоломок). Он подумал, запустил процесс... и через почти 7 часов выдал топовое решение. Я попросил его пояснить, но в ответ получил сложное описание процесса решения из 7 этапов. Я впечатлён. #ai

​​JDD

+4

Photos from Data Sanity London Talks are out. It's been a pleasure seeing so many familiar faces — and plenty of new ones! See more photos on our website. This event was brought to you by: 🚀 Speakers — Maria Matveeva, Yasi Jabbari, Andrey Lukyanenko, Stas Bichenko 🚀 Data Sanity Team — Yaroslav Kopotilov, Nick Knizev, Nikita Severin, Stanislav Petrov, Tamerlan Tabolov, Katya Leonova 🚀 Partners — Sage, Civo Tech Junction We'll release recordings of the talks soon — stay tuned, and see you next time!

Language learning after 10 years Сегодня мне пришло уведомление, что кто-то на реддите оставил комментарий к моему сообщению 10-летней давности. Настоящий некропостинг! Это был июнь 2016 года, за пару месяцев до моего ухода из ERP-консалтинга. На сабреддите по Anki обсуждали кто как использует этот софт для изучения языков. Тогда я написал, что у меня есть колоды по трём языкам, с вот таким количеством карточек: - English - 1492 - Spanish - 5397 - Japanese - 5900 Для добавления карточек с испанским языком использовал программу Learning With Text. Японский слова в основном добавлял при чтении visual novels. Прошло десять лет. Что иронично, вскоре после этого поста мне пришлось прекратить языки лет на 5, поскольку много времени и сил уходило на изучение ML и всего связанного с ним. Но всё равно есть явный прогресс в языках: - Английский - твёрдый уровень C2 (я сдавал официальный тест перед переездом в Англию). Карточек особо не добавилось - Испанский - 12к карточек. Могу болтать с носителями языка из разных стран, читать книги, слушать аудиокниги - так что около C1. - Немецкий - 13к карточек. Читаю без проблем, аудиокниги тоже могу слушать (например, недавно слушал перевод Властелина Колец). Но говорить сложновато (давно практики не было) и грамматика хромает. Наверное разговорный B1, а по чтению/пониманию - B2. Потихоньку стараюсь закрывать гэпы знаний - Японский - 9.5к карточек. В японском у меня самый маленький прогресс. Читать книги со словарём могу, в остальном - сложно. Планирую занятья им после шлифовки немецкого. С инструментами/софтом тоже интересно. Learning With Text довольно устарел и, казалось, вообще помер. Но вот сегодня из любопытства посмотрел - на моё удивление, программа жива и выглядит современно. Но я давно перешёл на readlang для чтения на ноуте и на Kindle в остальное время. В наше время существует огромное количество ресурсов и инструментов для изучения языков. Вопрос лишь в том, где найти время. #languages