Refat Talks: Tech & AI

Cloudflare запустили Markdown for Agents - и тут есть что обсудить. Помните мой разбор LLMs.txt? Тогда я сделал рисерч и пришел к выводу, что идея скорее мертворожденная: 0.3% адаптация среди топ-100к сайтов, ни один крупный провайдер официально не поддерживает. Собственно, так и вышло: cейчас почти никто не делает LLMs.txt. А вот тут совсем недавно Cloudflare зашли с другой стороны: релизнув Markdown for agents - когда AI-агент отправляет запрос с заголовком Accept: text/markdown, Cloudflare на лету конвертирует HTML в чистый MD. Плюс в ответе будет приходить заголовок x-markdown-tokens с оценкой токенов. Агент может заранее понять, влезет ли страница в контекстное окно, до того как ее обработает. По сути это context window management на уровне HTTP. Кстати, Claude Code и OpenCode уже отправляют Accept: text/markdown - они буквально просили об этом, просто никто не слушал. Контекст шире, чем кажется. Cloudflare за полтора года развернулись на 180 градусов. Июль 2024 - дали кнопку "блокировать AI-краулеров одним кликом". Июль 2025 - все новые домены блокируют AI по умолчанию, 416 миллиардов заблокированных запросов. И вот февраль 2026 - запускают Markdown for Agents и приглашают тех же агентов обратно. Девелоперское комьюнити принимает с энтузиазмом, предложили воркэраунд для бесплатных планов, появились Spatie-пакет для Laravel, плагин для Caddy, WordPress-плагин от создателя Yoast. SEO-шникам же идея не очень зашла. Джон Мюллер из Google прямо назвал идею "stupid". Некоторые предупреждают о "shadow web" - сайты могут вставлять скрытые инструкции в markdown-версию. Меня лично бесит, когда Claude Code не может получить ответ с какого-то сайта, потому что тот решил блокировать AI-агентов. Особенно этим грешит OpenAI. Я понимаю владельцев сайтов - никому не хочется оплачивать трафик ботов, которые выкачивают контент. Но универсального решения пока нет, и от этого страдают все. Идея Cloudflare мне нравится больше, чем LLMs.txt да и Cloudflare настолько большой провайдер (~20% веба), что может задать тренд, если эксперимент получится удачным. Если Vercel и Fastly, Netlify и др. подхватят - получим де-факто стандарт. Но проблема, что этот же заголовок становится маркером "я AI-агент", что упрощает и блокировку. А вы как думаете - это шаг в правильном направлении или наоборот нужно оставить веб таким, каким его видят люди и не пытаться его подогнать под требования агентов?