Компания Cloudflare разработала новый инструмент на основе искусственного интеллекта, предназначенный для борьбы с ботами, которые собирают данные с веб-сайтов. Этот ИИ способен запутывать автоматические системы сканирования и мешать им эффективно извлекать информацию.
Cloudflare обратила внимание на проблему, поскольку почти 1% всех запросов к веб-контенту, который она обрабатывает, поступает от ИИ-ботов. Предполагается, что эти боты собирают данные для обучения моделей искусственного интеллекта. Хотя владельцы сайтов могут пытаться блокировать такие системы через файл robots.txt, настройки сервера или CAPTCHA, на практике многие парсеры игнорируют эти ограничения и продолжают собирать информацию без разрешения. Это приводит к лишней нагрузке на сайты и потенциальному использованию данных без согласия их создателей, что уже стало предметом судебных разбирательств.
Вместо традиционной блокировки ботов Cloudflare применяет новый метод — так называемый «лабиринт ИИ». Когда система обнаруживает подозрительное сканирование, она перенаправляет ботов на специально сгенерированные страницы с бессмысленным, но убедительным контентом. Эти страницы создаются с помощью генеративного ИИ и выглядят достоверными, но не содержат никакой реальной информации с защищаемого сайта. В результате боты тратят ресурсы на обработку бесполезного контента, что делает их работу менее эффективной и дорогой.
«Ни один настоящий человек не пойдет на четыре ссылки вглубь лабиринта ерунды, созданной ИИ. Любой посетитель, который это сделает, скорее всего, окажется ботом, так что это дает нам совершенно новый инструмент для выявления и идентификации парсеров, которые мы добавляем в наш список», — объясняют разработчики.
Cloudflare утверждает, что такой подход не только мешает сбору данных, но и помогает лучше выявлять ботов. Настоящий пользователь вряд ли будет углубляться в несколько уровней подобных страниц, в то время как автоматизированные системы продолжат это делать, что позволит компании эффективнее отслеживать и блокировать ботов. Компания также планирует усовершенствовать этот метод, сделав ссылки на такие страницы более органичными и незаметными для обычных пользователей.
Клиенты Cloudflare уже могут активировать AI Labyrinth через свои консоли управления. Cloudflare развернула систему искусственного интеллекта, предназначенную для перехвата ботов, которые сканируют общедоступные страницы и собирают данные с целью обучения других моделей ИИ. Владельцы сайтов теоретически могут попытаться отбиться от сканеров страниц при помощи файлов robots.txt, изменений настроек веб-серверов, проверок CAPTCHA и полной блокировки ботов. Однако, в действительности операторы роботов-сканеров зачастую игнорируют директивы robots.txt, обходят тесты CAPTCHA и настройки серверов.
Система окажется сдерживающим фактором для сканеров веб-контента, чьи ресурсы начнут использоваться впустую, а стоимость эксплуатации вырастет. Она будет полезным инструментом для обнаружения активности ботов; человек же не станет погружаться в такой «ИИ-лабиринт» на глубину более четырех ссылок, уверены создатели системы. Но панацеей это решение не является, и в Cloudflare уже задумываются о том, что делать дальше, чтобы оставаться впереди.