Cloudflare es una de las empresas más importantes de Internet. Se estima que está involucrada en el hospedaje del 20% de los sitios web. Hace poco les contamos como Matthew Prince, CEO de la compañía, había señalado que estaban trabajando en un método para proteger a los sitios del tráfico inutil. Con un énfasis particular en el tráfico producido por los bots de las IA.
Algunas herramientas han estado a disposición de los usuarios desde 2024. Entre ellos una pantalla que permite seguir el movimiento de los crawlers, y un botón para bloquear a todos los bots de IA. Pero lo señalado era solo una base para un cambio más importante.
Los bots deben pagar
Cloudflare ha presentado el sistema Pay per Crawl. Esto es, paga por tomar datos de mi sitio web. La idea es que por defecto los bots de las IA no puedan tomar datos y consumir en el proceso los recursos de los sitios. En cambio, le da la posibilidad a los dueños de estos espacios de habilitar a los bots de las empresas que hayan cerrado un trato con ellos.
Esta posibilidad puede ser especialmente beneficiosa para los sitios dedicados a las noticias o a producir contenido de consumo diario. Como hemos señalado en el artículo pegado líneas arriba, a medida que las IA crecen como medio de consulta disminuye el tráfico a los sitios web que contienen la información. Esto ocurre aún cuando se los cita como fuentes.
El resultado es una economía de Internet en la que los verdaderos productores no pueden sostener su actividad. El problema es especialmente grave para negocios tales como los medios de prensa, porque sus costos son altos.
En la era de los agentes
Ahora bien, en un futuro donde los agentes de IA operen en nombre del usuario, naveguen por ellos, la pérdida de tráfico podría ser aún más grave. Pero si la iniciativa de Cloudflare se impone sería una gran oportunidad de negocios. Hasta ahora las empresas se han escudado en la idea de que la información estaba disponible de forma pública. Cloudflare les da a los sitios una herramienta para negar el acceso.
