ComfyUI ControlNet: generación guiada de imágenes

Si necesitas que una imagen respete la estructura de una foto de referencia, ControlNet es la herramienta. Extrae bordes, pose o profundidad para usarlos como guía en la generación. Este tutorial explica cómo configurarlo en ComfyUI.

Qué vas a construir

Un workflow que:

1. Carga una imagen de referencia (foto de producto, boceto arquitectónico, retrato)
2. Extrae la estructura de bordes usando detección de bordes Canny
3. Genera una nueva imagen guiada por esos bordes + tu prompt de texto
4. Se ejecuta 100% localmente: sin nube, sin costes de API

Casos de uso: Visualización de productos, renderizado arquitectónico, contenido consistente con la marca, transferencia de estilo.

Requisitos previos

• ComfyUI instalado (App de escritorio o manual)
• Checkpoint Stable Diffusion de Stability AI (ej: sd_xl_base_1.0.safetensors)
• Modelo ControlNet (ej: control-lora-canny-rank256.safetensors): consulta la colección ControlNet en HuggingFace
• ComfyUI ControlNet Aux: instalar vía ComfyUI Manager

flowchart LR
    INPUT["Input Image"] --> CN["ControlNet<br/>Preprocessor"]
    CN --> COND["Conditioning"]
    PROMPT["Text Prompt"] --> COND
    COND --> SAMPLER["KSampler"]
    SAMPLER --> OUTPUT["Generated Image"]
    
    style INPUT fill:#1E293B,color:#FAFAFA
    style CN fill:#F5A623,color:#0B1628
    style OUTPUT fill:#059669,color:#FAFAFA

El Workflow (11 Nodos)

Imagen referencia → Deteccion bordes Canny → ControlNet Apply
                                                  ↓
Prompt texto → CLIP Encode ──────────────→ KSampler → VAE Decode → Guardar
                                                  ↑
Checkpoint → Modelo + VAE ────────────────────────┘

Configuración nodo por nodo

Parámetros clave

Consejos para mejores resultados

1. Empieza con ControlNet fuerte (0,8+) y reduce si el resultado parece rígido
2. Usa dibujos lineales o fotos de arquitectura como referencia, bordes limpios funcionan mejor
3. Iguala la resolución: si tu referencia es 1024x1024, configura EmptyLatentImage a 1024x1024
4. Experimenta con tipos de ControlNet: Canny (bordes), Depth (3D), Pose (humano), Scribble (bocetos)
5. Modelos SDXL producen mayor calidad que SD 1.5 pero necesitan más VRAM (6+ GB)

Descargar el Workflow

Archivo JSON listo para importar:

Descargar vorlux_controlnet_canny_guided.json →

Importar en ComfyUI: Load Workflow → Upload File.

Requisitos de hardware

Resultado esperado

Si has seguido todos los pasos correctamente, al pulsar Queue Prompt en ComfyUI deberás ver lo siguiente:

1. Mapa de bordes Canny: En la vista previa del nodo CannyEdgePreprocessor aparecerá una imagen en blanco y negro con las líneas de contorno de tu imagen de referencia. Si la imagen está demasiado limpia (pocos bordes) o demasiado ruidosa (todo lleno de líneas), ajusta low_threshold y high_threshold.

2. Imagen generada: La salida del nodo SaveImage mostrará una imagen nueva que respeta la estructura y composición de tu referencia pero con el estilo, color e iluminación definidos por tu prompt de texto. Por ejemplo, si usaste una foto de un edificio como referencia y el prompt “edificio futurista, estilo cyberpunk, neon, lluvia”, verás la misma silueta arquitectónica transformada en estética cyberpunk.

3. Tiempo de generación: Con los parámetros recomendados (25 steps, 1024x1024), espera entre 10 y 45 segundos dependiendo de tu hardware (consulta la tabla de requisitos arriba).

La imagen resultante debe mantener las proporciones y bordes principales de la referencia. Si la estructura se pierde demasiado, sube el strength de ControlNet a 0,9. Si el resultado se ve demasiado rígido o “pegado” a la referencia, bájalo a 0,5-0,6.

Consejos avanzados para mejores resultados

1. Combina dos ControlNets: Usa Canny (bordes) + Depth (profundidad) a la vez para obtener imágenes que respeten tanto la silueta como la perspectiva 3D de tu referencia. Conecta ambos con ControlNetApplyAdvanced en cadena, con strength de 0,6 cada uno.

2. Usa el parámetro end_percent estratégicamente: Configurar end_percent: 0.7 en lugar de 1,0 permite que ControlNet guíe las primeras fases de la generación (estructura) y luego “suelte” el control, dando más libertad creativa al modelo en los detalles finales. Esto produce resultados más naturales y menos artificiales.

Recursos relacionados

• Biblioteca de 230 Workflows: explora todos incluyendo 92 de ComfyUI
• Catálogo de Modelos IA: encuentra modelos Stable Diffusion y FLUX
• Stack de Software: ComfyUI en nuestro stack
• Contacto: ¿necesitas ayuda configurando ComfyUI?

Fuentes:

• ComfyUI: Repositorio GitHub
• Stability AI: Modelos Stable Diffusion
• ControlNet en HuggingFace

Lecturas relacionadas

• ComfyUI: Genera 100 Imágenes de Producto en Minutos con IA Local
• n8n + MCP: Conecta Tus Agentes IA a Cualquier Herramienta de Negocio
• Construye un agente IA que aprende solo con n8n: Tutorial del Learning Loop

Siguientes pasos

• Descarga el archivo JSON del workflow para importarlo directamente en tu ComfyUI.
• Verifica que tienes instalados los modelos ControlNet necesarios desde HuggingFace.
• Configura los nodos de carga de checkpoint y ControlNet según la tabla técnica.
• Prueba el resultado con una imagen de arquitectura o producto para validar los bordes Canny.

Trabaja con nosotros

Podemos hacer este análisis con tus datos reales antes de recomendar hardware. Una conversación de 30 minutos suele bastar para saber si tiene sentido en tu caso: reserva una llamada o mira cómo trabajamos en consultoría.