Компания Cloudflare запустила лабиринт для ИИ-ботов

Компания Cloudflare, одна из крупнейших в мире в сфере интернет-инфраструктуры, представила новый инструмент под названием AI Labyrinth.

Лабиринт разработан для борьбы с веб-краулерами xrust, которые сканируют сайты без разрешения, эта бесплатная функция с подпиской заставляет ботов перемещаться по бесконечному лабиринту страниц, созданных ИИ. Это замедляет их работу, тратит ресурсы и снижает эффективность их работы.

В сообщении компания анонсировала AI Labyrinth, объяснив, что он нацелен на ботов, демонстрирующих «ненадлежащее поведение». Многие компании ИИ, включая такие известные имена, как Anthropic и Perplexity AI, обвинялись в игнорировании стандартных мер защиты, таких как файл robots.txt, который предназначен для контроля доступа ботов к данным веб-сайта. Cloudflare сообщает, что ежедневно обрабатывает более 50 миллиардов запросов веб-краулеров, что делает управление ботами постоянной проблемой.

Вместо того, чтобы просто блокировать ботов, AI Labyrinth дает отпор, скармливая им бесполезный контент, созданный ИИ, не имеющий отношения к веб-сайту, на который они нацелены. Такой подход тратит время ботов и помогает Cloudflare более эффективно обнаруживать и отслеживать их поведение.

Компания описывает его как «приманку следующего поколения», предназначенную для того, чтобы затягивать ИИ-краулеров все глубже и глубже в цикл нерелевантных страниц — то, чего никогда не сделает посетитель-человек. Этот процесс позволяет Cloudflare уточнять свой список вредоносных ботов и определять новые шаблоны сканирования, которые в противном случае могли бы остаться незамеченными.