De HTML ruidoso a Markdown limpio: extraer datos de la web dejó de ser un problema solo técnico. Cuando el destino es un modelo de lenguaje, el HTML crudo con menús, banners y scripts contamina el resultado. Este Informe USERS muestra cómo construir un scraper con Crawl4AI, la librería que devuelve Markdown listo para un LLM.
Autor: Claudio Bottini
De HTML ruidoso a Markdown limpio
Herramientas como BeautifulSoup o Scrapy devuelven el HTML crudo y dejan la limpieza en manos de quien programa. Ese flujo sirve cuando el destino es una base de datos relacional.
El problema aparece con un modelo de lenguaje o un pipeline de RAG (recuperación aumentada por generación, que combina un buscador con un LLM). El HTML crudo gasta tokens en etiquetas y scripts sin sentido, y en el peor caso confunde al modelo.
Los síntomas se conocen: un RAG que cita el banner de cookies como documentación, o un párrafo repetido diez veces por la paginación. El sistema toma todo ese ruido sin distinguirlo.
Crawl4AI ataca ese punto. Es una librería de Python de código abierto que convierte cualquier página en Markdown limpio, listo para el prompt o para indexar en una base vectorial, sin limpieza manual.
A diferencia de sus antecesores, integra un navegador real vía Playwright, el framework de automatización de Microsoft. Ejecuta el JavaScript como en una visita humana y captura el contenido recién después.
Eso lo vuelve indispensable en las aplicaciones de una sola página, cada vez más comunes, donde el HTML inicial llega casi vacío.
A diferencia de Scrapy, que exige defi nir spiders y pipelines completos, o de BeautifulSoup, que solo interpreta HTML ya descargado sin ejecutar JavaScript, Crawl4AI integra un navegador real a través de Playwright, el framework de automatización de navegadores de Microsoft, y ofrece de fábrica una salida pensada para la era de los modelos de lenguaje: Markdown estructurado, extracción asistida por inteligencia artificial y soporte nativo para JSON tipado mediante Pydantic.
Extracción inteligente y pipelines reales
El objeto central es AsyncWebCrawler, que abre el navegador y devuelve el contenido de una URL ya procesado. Dos clases lo configuran: una para el navegador y otra para cada crawl en particular.
Para páginas dinámicas, admite ejecutar JavaScript propio antes de la captura y esperar a que aparezca un elemento del DOM (el árbol de objetos de la página). Desde la versión 0.9.0 suma un modo stealth que disimula las huellas del proceso automatizado.
La pieza más potente es la extracción por LLM. Cuando el dato depende del significado y no de la posición, un modelo interpreta la página y devuelve la salida según un schema definido con Pydantic. Puede correr local con Ollama o contra proveedores externos.
El Informe USERS aterriza todo esto en dos pipelines. El primero descubre los artículos en seis portales, los extrae en paralelo y los resume con un modelo local antes de exportar a JSON y HTML.
El segundo reusa la misma arquitectura para vigilar los changelogs de las librerías. Guarda un hash del contenido en un estado persistente y solo llama al modelo cuando la página cambió respecto de la corrida anterior.
Buena parte de la web actual se construye como una SPA (single page application, o aplicación de una sola página): el HTML inicial que devuelve el servidor está prácticamente vacío y todo el contenido se inyecta después mediante JavaScript, una vez que el navegador ejecuta el código de React, Vue o el framework que corresponda.
Firecrawl y la decisión de fondo
Todo lo anterior tiene una contracara: instalar Playwright, administrar la concurrencia y resolver los bloqueos anti-bot es trabajo que recae sobre quien programa, con una máquina encendida durante toda la corrida.
Firecrawl encara el mismo problema desde el otro lado. En vez de una librería local, es una API gestionada con infraestructura propia. Cada solicitud se resuelve en sus servidores y el resultado llega ya procesado, sin navegador que instalar.
Su método scrape() equivale al arun() de Crawl4AI, pero la llamada viaja por HTTP y aísla el contenido principal con un solo parámetro.
Ofrece además endpoints para recorrer un sitio entero o navegar con un prompt en lenguaje natural. El plan gratuito da mil créditos por mes.
La comparación entre las cuatro herramientas solo cierra según el destino de los datos. Con volumen alto y sostenido, o cuando hace falta control fino de la navegación, Crawl4AI amortiza rápido su configuración inicial porque no suma un costo por página.
Cuando la prioridad es lanzar un prototipo en minutos o delegar los bloqueos anti-bot, Firecrawl resuelve sin escribir configuración de navegador.
La propia documentación las trata como complementarias más que como sustitutas: para sesiones largas y estado complejo, remite a Crawl4AI.
Para esos casos donde necesitamos entender lo que estamos extrayendo existe LLMExtractionStrategy, que delega la interpretación en un modelo de lenguaje: recibe el contenido de la página y devuelve los datos según un schema definido con Pydantic.
Encuentra la versión completa de la publicación en la que se basa este resumen, con todos los detalles técnicos en RedUSERS PREMIUM
También te puede interesar:
CONSTRUYE TU PROPIA RED NEURONAL
Las redes neuronales suelen usarse a través de bibliotecas que esconden su funcionamiento interno. Este Informe USERS propone el camino inverso: escribir una red neuronal mínima en Python, sin frameworks, para ver cómo un conjunto de números aleatorios termina aprendiendo una regla lógica que ninguna neurona aislada puede resolver.
Lee todo lo que quieras, donde vayas, contenidos exclusivos por una mínima cuota mensual. Solo en RedUSERS PREMIUM: SUSCRIBETE!
