La pregunta más frecuente cuando alguien quiere instalar un LLM local es: "¿Qué modelo elijo?" Sin embargo, como señala el desarrollador Michael Guo en X, esa es la pregunta equivocada. La correcta es: "¿Qué hardware tengo?" El hardware determina el runtime; el runtime determina el formato del modelo; y el formato del modelo determina qué modelos caben en tu memoria disponible.
Empezar por el modelo — elegirlo por popularidad, descargarlo y descubrir que el runtime no lo soporta o que no cabe en la memoria — es el error más frecuente en la puesta en marcha de IA local. Esta guía describe la cadena correcta y ofrece recomendaciones concretas para cada tipo de hardware.
La cadena de decisión: Hardware → Runtime → Formato → Modelo
El cuello de botella más duro en la inferencia local es la memoria. El modelo debe cargarse completamente en el pool de memoria accesible para el runtime. Si no cabe, el modelo no arranca o cae a rutas de CPU que resultan muy lentas.
Las cuatro preguntas que hay que responder en orden:
- ¿Qué hardware tienes? (Apple Silicon, GPU NVIDIA, solo CPU)
- ¿Qué runtime rinde mejor en ese hardware? (Ollama + MLX, vLLM, llama.cpp)
- ¿Qué formato de modelo usa ese runtime? (pesos MLX, GGUF, safetensors)
- ¿Qué modelos, en ese formato, caben en tu memoria?
Seguir este orden elimina la mayoría de los problemas de instalación.
Nivel 1: Apple Silicon (Macs de la familia M)
Los Macs con Apple Silicon tienen una característica que los hace especialmente adecuados para IA local: la Unified Memory Architecture (UMA). La RAM y la memoria GPU son físicamente el mismo pool. Un Mac Studio M3 Ultra con 192 GB puede destinar toda esa memoria a inferencia — sin partición sistema-GPU ni pérdidas de ancho de banda por PCIe.
Runtime recomendado: Ollama (con soporte nativo para backend MLX desde principios de 2026) o MLX-LM directamente.
Formato de modelo: pesos MLX cuantizados para pipelines MLX nativos, o GGUF a través de la interfaz estándar de Ollama.
Modelos recomendados según RAM disponible:
| Memoria | Opciones prácticas |
|---|---|
| 16 GB | Qwen2.5 7B, Phi-4, Gemma3 4B |
| 32 GB | Llama 3.3 70B (4 bits), Qwen2.5 32B |
| 64 GB | Qwen2.5 72B, Llama 3.3 70B (mayor calidad) |
| 128 GB+ | Qwen3-Coder-Next (arquitectura MoE, ~80B parámetros totales, ~3B activos por paso) |
Según mediciones reportadas por la comunidad, los modelos de 70B cuantizados en un Mac Studio M3 Ultra alcanzan velocidades de 20–40 tokens por segundo — suficiente para uso productivo en equipo. Modelos más pequeños en un Mac Mini M4 (16–32 GB) superarían los 60–100 tokens/s según benchmarks publicados por la comunidad.
Para la mayoría de los casos de uso en pymes — búsqueda interna de documentos, análisis de correos, asistencia en código, extracción de datos estructurados — un Mac Mini M4 con 32 GB o un Mac Studio M3 Max con 64 GB cubre ampliamente las necesidades. Configuraciones con más memoria tienen sentido cuando varios usuarios trabajan simultáneamente o se necesitan ventanas de contexto muy largas.
Uso individual vs. equipo en Apple Silicon
Para un usuario individual, Ollama es suficiente. Para equipos, Open WebUI añade una interfaz web con gestión de sesiones, cambio de modelo por usuario y una experiencia similar a ChatGPT, sin ninguna dependencia de servicios en la nube. La combinación Ollama + Open WebUI es el stack de equipo más habitual en Apple Silicon según discusiones de practicantes a mediados de 2026.
Nivel 2: GPU NVIDIA (serie RTX)
Las tarjetas NVIDIA tienen VRAM dedicada, separada de la RAM del sistema. Si el modelo no cabe completamente en la VRAM, el exceso se transfiere a la RAM del sistema por PCIe — funciona, pero con una penalización importante en velocidad.
Runtimes recomendados:
- Ollama — instalación sencilla, ideal para usuarios individuales y equipos pequeños, formato GGUF
- vLLM — producción, gestiona solicitudes concurrentes mediante continuous batching, formato safetensors
- llama.cpp — máximo control, GGUF, offloading parcial de capas entre VRAM y RAM del sistema
Modelos recomendados según VRAM disponible:
| VRAM | Opciones prácticas |
|---|---|
| 8 GB | Phi-4 Mini, Gemma3 4B, Qwen2.5 7B (Q4) |
| 12 GB | Llama 3.3 8B (calidad completa), Qwen2.5 14B (Q4) |
| 24 GB (RTX 3090/4090) | Qwen2.5 32B (Q4), Llama 3.3 70B (Q3 con offload parcial a CPU) |
Una RTX 3090 de segunda mano (24 GB de VRAM) se encontraba a mediados de 2026 por unos 400–600 EUR según reportes de la comunidad — la opción más eficiente en coste para acceder a modelos de la clase 32B en hardware NVIDIA. Para equipos que ejecutan un servidor LLM compartido, vLLM es la elección más sólida: su motor de continuous batching gestiona 10 solicitudes simultáneas mucho más rápido que serializarlas, con benchmarks publicados que muestran ganancias de 2–4× en throughput.
Nivel 3: Solo CPU y hardware de bajo consumo
La inferencia solo en CPU es más lenta, pero viable para exploración, tareas en segundo plano de baja frecuencia o hardware sin GPU dedicada.
Runtime recomendado: llama.cpp u Ollama con backend CPU.
Formato de modelo: GGUF, muy cuantizado (Q2–Q4).
Opciones prácticas:
- Phi-4 Mini (3B): modelo compacto de Microsoft con buen razonamiento general, funciona en cualquier portátil moderno
- Gemma3 1B: el modelo más pequeño de Google, muy rápido en CPU para tareas simples
- Qwen2.5 3B: excelente soporte multilingüe — incluyendo español y alemán — con requisitos de memoria mínimos
Las velocidades reportadas por la comunidad en hardware solo CPU se sitúan entre 2 y 8 tokens por segundo según la máquina y el nivel de cuantización. Adecuado para procesamiento por lotes asíncrono; menos práctico para chat interactivo con múltiples usuarios.
Soberanía de datos como factor de negocio
Para empresas europeas, la elección del hardware es también una decisión de cumplimiento normativo. Ejecutar toda la inferencia de forma local significa que ningún prompt, ninguna respuesta y ningún metadato de procesamiento salen de tu propia infraestructura. No hay llamadas a APIs de proveedores de nube estadounidenses, no hay exposición de datos empresariales por token, y no hay dependencia de cambios de precios o política de uso de proveedores externos.
Según nuestra interpretación del RGPD y del Reglamento de IA de la UE, este modelo de despliegue reduce significativamente los riesgos de transferencia internacional de datos y simplifica la documentación de cumplimiento. Más información sobre lo que significa la soberanía de datos en la práctica en /data-sovereignty.html. Para una introducción general a la IA local para empresas, visita /local-ai.html.
Kit Digital: financiar el hardware de IA local en España
Las pymes españolas pueden utilizar la subvención Kit Digital para financiar la implantación de soluciones de IA, incluidas herramientas de automatización e inteligencia artificial. Según nuestra interpretación de las bases vigentes, los servicios de implantación y consultoría para soluciones de IA local son potencialmente elegibles en las categorías de "Inteligencia Artificial y Analítica" y "Procesos y Recursos". Para conocer en detalle las categorías aplicables a tu empresa, te recomendamos consultar la guía disponible en /kit-digital.html.
Empieza por el hardware que ya tienes
La decisión correcta sobre IA local no empieza por un ranking de modelos populares: empieza por un inventario honesto de la memoria y el hardware disponibles. Apple Silicon, GPU NVIDIA o solo CPU — todos los caminos llevan a resultados productivos si el runtime y el formato del modelo están alineados con el hardware.
Para mapear tu configuración específica — hardware existente, tamaño del equipo, casos de uso concretos — a una arquitectura de IA local que funcione en producción, el proceso de proyecto piloto de Freshlab cubre exactamente eso.