24 modelos evaluados con benchmarks Artificial Analysis
Estos modelos se acceden via API. Comparados por Intelligence Index (II), MMLU-Pro y GPQA. Los precios son $/1M tokens.
O
GPT-4o
OpenAI
II 86
MMLU-Pro 88.7%
GPQA 53.6%
142 tok/s
In: $5.00 Out: $15.00
2024-05-13
O
GPT-4o-mini
OpenAI
II 82
MMLU-Pro 86.2%
GPQA 48.6%
215 tok/s
In: $0.15 Out: $0.60
2024-07-18
O
o1-preview
OpenAI
II 91
MMLU-Pro 87.7%
GPQA 75%
38 tok/s
In: $15.00 Out: $60.00
2024-09-12
O
o1-mini
OpenAI
II 87
MMLU-Pro 85.2%
GPQA 64.4%
95 tok/s
In: $3.00 Out: $12.00
2024-09-12
A
Claude 3.5 Sonnet
Anthropic
II 88
MMLU-Pro 88.3%
GPQA 55.2%
118 tok/s
In: $3.00 Out: $15.00
2024-06-20
A
Claude 3.5 Sonnet v2
Anthropic
II 89
MMLU-Pro 89.1%
GPQA 57.8%
125 tok/s
In: $3.00 Out: $15.00
2024-10-22
A
Claude 3.5 Opus
Anthropic
II 92
MMLU-Pro 90.8%
GPQA 62.1%
48 tok/s
In: $15.00 Out: $75.00
2024-07-22
A
Claude 3 Haiku
Anthropic
II 75
MMLU-Pro 77.2%
GPQA 38.5%
280 tok/s
In: $0.25 Out: $1.25
2024-03-07
G
Gemini 1.5 Pro
Google
II 87
MMLU-Pro 88.6%
GPQA 54.8%
98 tok/s
In: $3.50 Out: $10.50
2024-05-14
G
Gemini 1.5 Flash
Google
II 83
MMLU-Pro 85.3%
GPQA 46.2%
245 tok/s
In: $0.07 Out: $0.30
2024-05-14
G
Gemini 2.0 Flash
Google
II 85
MMLU-Pro 86.7%
GPQA 49.8%
310 tok/s
In: $0.00 Out: $0.00
2024-12-11
G
Gemini 2.0 Flash Thinking
Google
II 88
MMLU-Pro 88.4%
GPQA 55.6%
78 tok/s
In: $0.00 Out: $0.00
2024-12-19
M
Llama 3.1 405B
Meta
II 84
MMLU-Pro 86.1%
GPQA 46.8%
42 tok/s
In: $3.50 Out: $14.00
2024-07-23
M
Llama 3.1 70B
Meta
II 82
MMLU-Pro 84.2%
GPQA 43.5%
88 tok/s
In: $0.65 Out: $2.75
2024-07-23
M
Llama 3.1 8B
Meta
II 77
MMLU-Pro 79.4%
GPQA 36.2%
195 tok/s
In: $0.20 Out: $0.80
2024-07-23
M
Llama 3.2 1B
Meta
II 72
MMLU-Pro 74.8%
GPQA 31.5%
380 tok/s
In: $0.10 Out: $0.40
2024-09-25
M
Llama 3.2 3B
Meta
II 76
MMLU-Pro 77.9%
GPQA 35.8%
320 tok/s
In: $0.10 Out: $0.40
2024-09-25
M
Mistral Large
Mistral AI
II 85
MMLU-Pro 86.9%
GPQA 48.2%
72 tok/s
In: $2.00 Out: $6.00
2024-02-29
M
Mistral Nemo
Mistral AI
II 78
MMLU-Pro 79.8%
GPQA 38.4%
185 tok/s
In: $0.15 Out: $0.15
2024-07-22
M
Mixtral 8x7B
Mistral AI
II 79
MMLU-Pro 80.6%
GPQA 39.2%
95 tok/s
In: $0.70 Out: $2.40
2023-12-11
M
Mistral Small
Mistral AI
II 80
MMLU-Pro 82.1%
GPQA 41.3%
155 tok/s
In: $0.20 Out: $0.60
2024-09-17
Q
Qwen 2.5 72B
Qwen
II 83
MMLU-Pro 85.4%
GPQA 44.8%
82 tok/s
In: $0.90 Out: $3.60
2024-09-19
Q
Qwen 2.5 32B
Qwen
II 80
MMLU-Pro 82.8%
GPQA 40.5%
145 tok/s
In: $0.50 Out: $2.00
2024-09-19
Q
Qwen 2.5 7B
Qwen
II 76
MMLU-Pro 78.6%
GPQA 35.2%
210 tok/s
In: $0.20 Out: $0.80
2024-09-19
Q
QwQ 32B
Qwen
II 84
MMLU-Pro 86.2%
GPQA 47.8%
78 tok/s
In: $0.50 Out: $2.00
2024-11-28
Explorador de VRAM Interactivo
Selecciona un modelo y una cuantización para ver que hardware lo soporta.
Calcula la memoria que necesita un modelo
Elige un modelo, una cuantización y un contexto. Las barras dicen en qué equipos cabe.
Categoría
Tengo este hardware
Cuantización
Contexto (tokens que el modelo recuerda)
Modelos populares
Memoria total–
Parámetros–
Contexto máximo–
Licencia–
Para qué sirve–
Memoria necesaria estimada
–pesos+–caché de contexto+1,5 GBmotor=–total
Pesos = parámetros × bits por peso ÷ 8 (Q4_0 4,5 · Q4_K_M 4,85 · Q8_0 8,5 · FP16 16). Caché = MB por token × tokens de contexto. Motor = 1,5 GB.
Medido con ollama ps en nuestra GB10, el uso real queda entre 1,4 y 1,6 GB por debajo de esta cuenta: preferimos que te sobre memoria a que te falte. A la máquina le restamos además la parte que se queda el sistema.
La Ley de IA de la UE ya aplica: una lista que puedes completar
Cuéntanos qué quieres ejecutar
Dinos qué quieres ejecutar y con qué presupuesto. Te decimos qué hardware necesitas, qué modelo encaja y qué puedes esperar de él, antes de que gastes nada.