Herramientas de datos

Apify

freemium

Infraestructura de scraping gestionada y SDK de código abierto.

Alojado por ellos o en tu propia infraestructura. Solo su SDK ya merece un vistazo.

cheerio

OSS

Análisis de HTML en servidor al estilo jQuery.

La usamos en cada rastreo que no sea de una SPA en el pipeline de la base de conocimiento.

linkedom

OSS

DOM conforme a la especificación para entornos worker/Node.

Para cuando necesitas un DOM de verdad y el estilo jQuery de cheerio no te basta.

Playwright

OSS

Navegador headless para cuando descargar y analizar no basta.

Trae sus propios navegadores, sin líos de drivers. Nuestra opción por defecto para scraping de SPAs.

Puppeteer

OSS

El hermano mayor de Playwright. Sigue funcionando bien y sigue mantenido.

Recurre a él si el equipo ya lo conoce; a Playwright si empiezas de cero.

Scrapy

OSS

Framework de rastreo nativo de Python, con cola y middlewares integrados.

La herramienta adecuada a partir de 10 000 páginas. Escala sin convertirse en tu proyecto.

Dagster

freemium

Pipelines de datos tipados, con trazabilidad de assets.

Más opinable que Prefect. Elígelo cuando pensar en assets encaje con tus datos.

DuckDB

OSS

SQL analítico en local sobre archivos.

Lo usamos para domar CSV en proyectos de consultoría. Un solo binario, sin servidor.

Prefect

freemium

Orquestación de flujos de trabajo en Python, con interfaz.

Así sería el orquestador de VORLUX si usáramos una planificación ya hecha.

marimo

OSS

Notebooks de Python reactivos que no son un montón de estado.

Código abierto y moderno. Elígelo antes que Jupyter para cualquier cosa que vayas a compartir.

Polars

OSS

DataFrames en Rust. Rápidos.

Reescribe tus celdas lentas de pandas y consigue 10 veces más velocidad, a menudo sin cambiar código.