Actualizado el 4 de octubre de 2026. Este artículo es de abril de 2026 y cita GPT-4 como modelos actuales. El método y los consejos siguen valiendo; hoy lo harías con:
- Gemma 4: puedes usar sus versiones pequeñas para actuar como juez en tus evaluaciones locales sin depender de la nube.
- DeepSeek V4: su capacidad de razonamiento es útil para puntuar la calidad de las respuestas en tu pipeline RAG.
- Llama 4 Scout / Maverick: sus modelos cuantizados funcionan bien para verificar la precisión de recuperación en hardware modesto.
Construiste un pipeline RAG que responde preguntas con tus documentos. En las demos funciona bien. Luego un cliente pregunta por un producto descontinuado el año pasado y el sistema devuelve con total confianza precios de un catálogo de 2024.
Para eso sirven las evaluaciones de IA. Son pruebas automatizadas para tu sistema RAG. Ejecutas un dataset de preguntas, mides las respuestas contra resultados esperados y detectas errores antes de que lleguen a tus usuarios.
Qué miden las evaluaciones de IA
Un pipeline RAG puede fallar de varias formas. Las buenas evaluaciones prueban cada una:
flowchart TD
QUERY["Pregunta Usuario"] --> RETRIEVE["Recuperacion"]
RETRIEVE --> GENERATE["Generacion"]
RETRIEVE --> E1["Precision Recuperacion<br/>Encontro los docs correctos?"]
GENERATE --> E2["Correccion Respuesta<br/>Es correcta la respuesta?"]
GENERATE --> E3["Tasa Alucinacion<br/>Invento cosas?"]
GENERATE --> E4["Completitud<br/>Respondio completamente?"]
GENERATE --> E5["Precision Citas<br/>Las fuentes cuadran?"]
style E1 fill:#3B82F6,color:#FAFAFA
style E2 fill:#10B981,color:#FAFAFA
style E3 fill:#EF4444,color:#FAFAFA
style E4 fill:#F5A623,color:#0B1628
style E5 fill:#8B5CF6,color:#FAFAFA| Métrica | Qué mide | Por qué importa |
|---|---|---|
| Precisión de recuperación | ¿Encontró el sistema los documentos correctos? | Docs incorrectos → respuestas incorrectas |
| Corrección de la respuesta | ¿Es la respuesta generada factualmente correcta? | Métrica de calidad central |
| Tasa de alucinación | ¿Inventó el modelo información que no está en los docs fuente? | Destructor de confianza |
| Completitud | ¿La respuesta aborda todas las partes de la pregunta? | Respuestas parciales frustran |
| Precisión de citas | ¿Las fuentes citadas realmente respaldan las afirmaciones? | Requisito de auditabilidad |
Construir un Dataset de Evaluación
La base de las evaluaciones IA es un dataset de pruebas: un conjunto de pares pregunta/respuesta esperada que representan uso real:
[
{
"question": "Cual es la politica de devolucion para licencias enterprise?",
"expected_answer": "Las licencias enterprise tienen una politica de devolucion completa de 30 dias...",
"expected_sources": ["politicas/acuerdo-licencia-enterprise.md"],
"category": "politica"
}
]¿Cuántos casos de prueba? Empieza con 20-30 cubriendo tus tipos de consulta más comunes. Expande a 100+ a medida que descubras casos límite. Incluye:
- Camino feliz (cosas que tus docs responden claramente)
- Casos límite (preguntas que abarcan múltiples documentos)
- Negativos (preguntas que tus docs NO responden: el sistema debería decir “no lo sé”)
- Temporales (preguntas sobre fechas, versiones o cosas que cambian)
Workflow de Evaluaciones IA en n8n
Las evaluaciones IA de n8n te permiten construir esto como un workflow:
flowchart LR
DATA["Dataset Pruebas<br/>(JSON/Sheet)"] --> LOOP["Iterar<br/>Preguntas"]
LOOP --> RAG["Ejecutar<br/>Pipeline RAG"]
RAG --> SCORE["Puntuar Respuesta<br/>vs Esperada"]
SCORE --> REPORT["Generar<br/>Informe"]
style DATA fill:#1E293B,color:#FAFAFA
style RAG fill:#059669,color:#FAFAFA
style SCORE fill:#F5A623,color:#0B1628
style REPORT fill:#3B82F6,color:#FAFAFAPaso 1: Cargar datos de prueba
Paso 2: Ejecutar cada pregunta por tu pipeline RAG
Paso 3: Puntuar los resultados
Paso 4: Generar informe con precisión global, desglose por categoría, casos fallidos
Puntuación sin LLM juez
Puedes evaluar calidad RAG sin necesitar GPT-4 o Claude como juez. Para despliegues locales:
| Método | Cómo funciona | Mejor para |
|---|---|---|
| Coincidencia palabras clave | Verificar si términos clave de la respuesta esperada aparecen | Preguntas factuales simples |
| Similitud FAISS | Embeber ambas respuestas, comparar similitud coseno | Equivalencia semántica |
| Solapamiento fuentes | Comparar IDs de docs recuperados vs esperados | Precisión de recuperación |
| Ratio longitud | Longitud respuesta vs esperada | Proxy de completitud |
| Detección de negativos | Para casos “no lo sé”, verificar si el sistema rechaza correctamente | Seguridad |
Todo esto corre localmente con Ollama, sin juez cloud requerido.
Cuándo ejecutar evaluaciones
| Disparador | Por qué |
|---|---|
| Tras añadir documentos nuevos | Docs nuevos pueden conflictuar con respuestas existentes |
| Tras cambiar el modelo | Diferentes modelos producen diferente calidad |
| Tras cambiar configuración de recuperación | Tamaño de chunk, overlap, top-K afectan la precisión |
| Semanal programado | Detectar drift por actualizaciones de documentos |
| Antes del despliegue a producción | Bloquear despliegues por puntuaciones insuficientes |
Ejemplo Real: Nuestra Evaluación de KB
En VORLUX AI evaluamos nuestra propia base de conocimiento (809 páginas, 4.704 enlaces) usando un sistema de puntuación con 6 señales: profundidad de contenido, crosslinks, respaldo de evidencia, confianza, frescura y accesos de búsqueda. Cada página se puntúa automáticamente, y las que están por debajo del umbral se marcan para mejora.
¿Quieres desplegar un sistema RAG probado? Agenda una evaluación gratuita de 15 minutos: te ayudaremos a construir workflows de evaluación que detecten problemas antes que tus usuarios.
Relacionado: Pipeline RAG n8n | n8n + MCP | Mejores LLMs Locales | Guía Cuantización
Fuentes: n8n RAG Platform | n8n Agentes IA | Patrones Arquitectura RAG | Guía RAG Enterprise
Lecturas relacionadas
- AESIA: Lo Que Toda Empresa Española que Usa IA Debe Saber en 2026
- Tus Primeros 3 Agentes IA: Guía de Despliegue Local para PYMEs (2026)
Siguientes pasos
- Define un dataset de pruebas con 20 o 30 casos de uso real.
- Configura un workflow en n8n para ejecutar tus preguntas por el pipeline.
- Implementa métodos de puntuación sin depender de modelos externos.
- Revisa la calidad de tus respuestas cada vez que actualices tus documentos o cambies de modelos.
Trabaja con nosotros
Podemos hacer este análisis con tus datos reales antes de recomendar hardware. Una conversación de 30 minutos suele bastar para saber si tiene sentido en tu caso: reserva una llamada o mira cómo trabajamos en consultoría.