С месяц назад я писал про соревнование Alfa Connectome ML Competition, и тут меня попросили напомнить, что оно еще идет до 15 ноября и в него все еще можно ворваться с ноги и побороться за $13600 призового фонда. Вообще-то в начале года я купил видеокарту, и она скучала. Мне тоже было любопытно: насколько современные агенты хороши в старом-добром ML? Паззл сошелся, и я пошел вспоминать времена одержимости кагглом. Отдал клоду датасет, попросил сделать бейзлайн, make no mistakes. Бейзлайн выбил 0.656 на лидерборде, на момент написания это в районе 33% из 1000+ участников. Для сравнения бейзлайн организаторов был 0.617 (88%). С тупыми пинками агент дошел примерно до 25%, застрял, и тут мне пришлось минимально вникать, а что собственно решаем. Раньше ML соревнования были во многом про интуицию, какие идеи стоит попробовать за ограниченное время / compute. Даже если решать его каждый вечер с первого дня, перебрать все идеи не получится. У опытных участников много заготовок, они могли перепробовать больше. Уникальные таланты придумывали что-то гениальное, но большая часть медалей были уровня "перебрал 50 идей, 10 сработало". И вот тут боттлнек оказался именно в идеях: примерно за две недели они у меня совершенно закончились. Я добрался до десятки (короткое время даже был третьим), теперь едва балансирую на грани вылета из нее. Но сам путь восхождения и обратно веселит: каждый вечер перед сном набрасываешь пачку идей, утром смотришь как трудолюбивый клод все заимплементил и обещает сабмит к следующему вечеру. В процессе нашлось несколько багов, но руками я бы явно накосячил больше. Короче, если у вас есть хоть какое-то железо, залетайте вспомнить дух старой школы в новых агентских декорациях.