Cloudflare lancia “AI Labyrinth” contro i bot di web scraping

Cloudflare, una delle più grandi aziende di infrastrutture di rete Internet al mondo, ha annunciato AI Labyrinth. Si tratta di un nuovo strumento per combattere i bot di web-crawling che estraggono dati di addestramento AI dai siti senza autorizzazione. L'azienda afferma in un post del blog che quando rileva "comportamenti bot inappropriati", il tool gratuito attira i crawler lungo un percorso di link a pagine esca generate dall'AI che "rallentano, confondono e sprecano le risorse" di coloro che agiscono in malafede. I siti web hanno a lungo utilizzato l'approccio honor system di robots.txt, un file di testo che concede o nega il permesso agli scraper, ma che le aziende AI, anche quelle note come Anthropic e Perplexity AI, sono state accusate di ignorare.

Cloudflare: AI Labyrinth funziona come un honeypot di nuova generazione

Cloudflare riferisce di ricevere oltre 50 miliardi di richieste da web crawler al giorno. Sebbene disponga di strumenti per individuare e bloccare quelli dannosi, gli hacker cambiano spesso strategia, dando vita a una "corsa agli armamenti senza fine". L’azienda afferma che AI Labyrinth reagisce facendo elaborare ai bot dati che non hanno nulla a che fare con i dati effettivi di un sito.  Questo sistema funziona come un "honeypot di nuova generazione", attirando i crawler AI su pagine false che solo i bot continuano a seguire. In questo modo, Cloudflare può identificare più facilmente bot dannosi e riconoscere nuovi schemi di attacco. I link fasulli restano invisibili agli utenti reali.

Gli amministratori dei siti web possono utilizzare il tool AI Labyrinth navigando nella sezione Gestione bot delle impostazioni della dashboard Cloudflare del loro sito. In seguito, basterà soltanto attivarla. L'azienda afferma che questa "è solo la prima iterazione dell'utilizzo dell'intelligenza artificiale generativa per contrastare i bot". Infine, la società prevede di creare "intere reti di URL collegati" che i bot che vi finiscono avranno difficoltà a identificare come falsi.