На одного послушного бота приходится 190 нарушителей, - выяснили в зоопарке для ботов Crawler Zoo. Там смотрители в реальном времени следят, кто ползает по сайту: Googlebot, GPTBot, Slackbot и прочие. Оказалось, на robots.txt ботам глубоко срать: 107 ботов соблюдали правила, а 20 243 прочитали их, но все равно нарушили. Плюс зоопарк обнаружил три новых неизученных вида ботов. У них там всякие аттракционы, типа Ловушка, куда ботам запрещено ходить, но они ломятся. Или бездонный Лабиринт с кучей дверей, куда боты прутся и теряются там, один уже ушел на 124 тысячи комнаты вглубь. Разные вольеры есть. А самых диких сажают в яму. Короче, пока вы пишете robots.txt, боты уже сожрали всю вашу вкусную запрещенку.