IA en local (Edge AI)
Hardware, frameworks y herramientas de despliegue para ejecutar IA en tus propias máquinas. El stack que usa VORLUX en producción.
Hardware
Intel NUC + Arc GPU
de pagoEdge AI económico para clientes que no quieren comprar NVIDIA.
La GPU Arc de Intel con OpenVINO es viable; el rendimiento varía según la familia de modelos.
NVIDIA Jetson Orin Nano
de pago8 GB, ~250 €, mueve cargas de la clase Llama-3.2-8B.
Nuestra recomendación de Edge AI por defecto para despliegues que miran el coste.
Mac Mini M4
de pago~700 €, sorprendentemente competitivo si macOS te encaja.
MLX y la memoria unificada te dan un rendimiento muy por encima de lo que sugiere el precio.
Frameworks
llama.cpp
OSSEl runtime en C++ que hay debajo de Ollama.
Úsalo directamente cuando necesites el control de la cuantización que Ollama oculta.
MLX
OSSEl framework de inferencia en el dispositivo de Apple.
El camino más rápido hacia un buen rendimiento en Apple Silicon; a menudo supera a llama.cpp con la misma cuantización.
OpenVINO
OSSLa respuesta de Intel para su propio hardware.
Merece un vistazo si el stack del cliente es muy de Intel; si no, MLX y llama.cpp cubren más terreno.
Despliegue
systemd + LaunchAgents
OSSGestores de servicios nativos del sistema en Linux / macOS.
Así desplegamos en el edge. Mira los agentes `com.vorlux.*` de VORLUX en la plataforma.
Tailscale
freemiumVPN en malla para la gestión remota.
Lo que usamos para llegar a los nodos edge de los clientes sin abrir puertos. El plan gratuito funciona.