Le CDN (content delivery network), una delle tecnologie più importanti e invisibili del web che permettono ai nostri siti di caricarsi più velocemente, stanno cambiando politica nei confronto degli spider degli agenti AI.
In particolare Cloudflare ha inserito la possibilità di bloccare i crawler degli LLM come OpenAI e Claude. Per tutti i nuovi siti sarà il default. E visto che molti siti lo utilizzano senza saperlo perchè utilizzano servizi SaaS che a loro volta lo hanno attivato, sarà importante che tutti i siti di Ecommerce verifichino la loro situazione dato che Cloudflare intermedia il traffico di circa il 16% dei siti a livello mondiale.
La mossa è stata fatta soprattutto per tutelare i siti di contenuto che potranno anche attivare la funzionalità del pay per crawl da parte di questi spider. Per quanto possa essere interessante questa mossa non credo che passare al modello pay per click al modello pay per crawl sarà lontanamente sufficiente per rendere sostenibili economicamente i siti di notizie online.
Tutte le aziende che invece beneficiano dal farsi conoscere tramite le chat AI, devono fare in modo di non essere bloccate, e anzi chiedere di essere indicizzate. A partire dall’inserire il proprio sito di vendita su OpenAI e creando il file llm.txt da mettere sul proprio sito.
