Cloudflare ha annunciato l’intenzione di bloccare i web crawler ad uso misto che indicizzano i siti Web per i motori di ricerca e fungono da agenti AI. Questo cambiamento segna un allontanamento dalla precedente politica dell’azienda, che consentiva ai clienti di rinunciare a consentire lo scraping dei loro siti per i chatbot AI. Cloudflare sta ora adottando una posizione più difensiva per impostazione predefinita.
Il CEO Matthew Prince ha dichiarato: “Ora che la maggior parte del traffico su Internet non è umano, dobbiamo andare oltre e agire più rapidamente affinché possa emergere un ecosistema sostenibile”. La nuova policy è progettata per fornire ai proprietari di siti web un maggiore controllo su come i loro contenuti vengono utilizzati dalle società di intelligenza artificiale, mantenendo allo stesso tempo visibilità e opportunità commerciali.
A partire dal 15 settembre 2026, i nuovi clienti e gli abbonati Cloudflare esistenti che lanciano nuovi siti Web consentiranno per impostazione predefinita la ricerca ma bloccheranno la formazione sull’intelligenza artificiale e l’uso degli agenti per le pagine che ospitano annunci. Anche i crawler ad uso misto che non consentono ai proprietari dei siti di controllare l’utilizzo dell’intelligenza artificiale verranno bloccati sulle pagine supportate da pubblicità. Gli utenti con account gratuiti passeranno a queste nuove impostazioni predefinite a meno che non annullino la sottoscrizione prima della scadenza.
Cloudflare sta migliorando la sua funzionalità Pay Per Crawl, ora chiamata Pay Per Use. Questa modifica consente ai proprietari dei siti di guadagnare in base al modo in cui i loro contenuti vengono utilizzati nelle risposte dei chatbot AI, piuttosto che semplicemente durante le scansioni. Attualmente, la società sta collaborando con Ceramic.AI e You.com, suggerendo sforzi per coinvolgere ulteriori aziende di intelligenza artificiale.
La politica sembra anche prendere di mira indirettamente Google. L’annuncio di Cloudflare indica che “il più grande motore di ricerca ha accesso a circa 2 volte più informazioni rispetto alle principali società di intelligenza artificiale”, poiché integra l’indicizzazione della ricerca con la formazione sull’intelligenza artificiale. Googlebot è responsabile sia dell’indicizzazione che della formazione, ma gli editori non hanno opzioni per separare l’uso dei contenuti tra la ricerca tradizionale e le applicazioni di intelligenza artificiale.
Cloudflare mira a incoraggiare i crawler a uso misto ad adottare distinzioni più chiare tra funzioni di ricerca e di formazione AI. Le nuove misure sono posizionate come una strategia per spingere Google e altre aziende con pratiche simili a rivedere i loro approcci.
