AI пока не заменяет бухгалтеров. Вообще! Вышел бенчмарк по налоговым задачам, с на удивление крутой методологией. Лучшая модель справляется с 10% реальных кейсов 😱 1️⃣ Получается так мало, потому что измеряли самое главное - профессиональное суждение: на входе были документы клиента и типичное объяснение задачи от него. И кроме прочего модели нужно было определить что в доках важно, где данные противоречат друг другу, чего не хватает, какие вопросы клиент не задал, что должно быть на выходе. Причем 50 кейсов были разнообразными по сложности, в разных областях - от личных налогов и малого бизнеса до международных налогов и трастов. И оценивался общий результат - получилось ли грамотное профессиональное суждение. 2️⃣ LLM могут отлично справляться с некоторыми аспектами работы, возможно заменяя помощников бухгалтера. Но в подавляющем числе случаев модель не смогла довести работу до профессионального стандарта. Проще говоря, LLM пока плохо справляются с ответом на вопрос "что тут вообще нужно делать". 3️⃣ Наверняка с хорошим окружением, харнессом, добавлением детерминированных частей процесса, можно заметно повысить результат. Но вряд ли это будет в разы. Так что пока AI не заменяет бухгалтеров, налоговых специалистов и других белых воротничков. Есть пост с научными пруфами о том, как AI не заменяет и юристов, даже с простыми делами. 4️⃣ Но как второе мнение AI может справляться хорошо: наверное многие перепроверяют заключения врачей, так же работает и с бухгалтерами, консультантами - с оценкой результатов их работы. И наверняка сами специалисты становятся более профессиональными - они ведь тоже могут себя проверить с LLM! И рано или поздно такой тренд отсеет слабых, отчасти потому, что клиент и сам может сделать работу плохо. 5️⃣ Так что общий уровень услуг консультантов должен стать выше. Плохим консультантам станет тяжелее, средние станут лучше благодаря AI, а лучшие смогут обслуживать больше клиентов. Только налить побольше клиентов бухгалтеру AI пока не особо помогает 🥲 @kyrillic