Durante meses, la conversación sobre IA local en las PYMES ha girado en torno a dos preguntas: qué modelo elegir y qué hardware comprar. Hay una tercera pregunta que ha empezado a aparecer con fuerza en foros técnicos y en X: qué runtime usar para extraer el máximo rendimiento del hardware que ya se tiene.
La respuesta importa más de lo que parece. Según mediciones reportadas por la comunidad, cambiar únicamente el servidor de inferencia —sin tocar el modelo ni el hardware— puede duplicar el número de tokens por segundo en Mac con Apple Silicon. El servidor que protagoniza este debate se llama mlx-serve, y junto a MTPLX representa una alternativa directa a Ollama que merece atención por parte de cualquier equipo que ya ejecute LLMs localmente.
Qué es mlx-serve
mlx-serve es un servidor de inferencia escrito en Zig, un lenguaje de sistemas comparable a C. No requiere Python, no tiene capas de intérprete y el binario completo ocupa aproximadamente 7 MB. Incluye un servidor de línea de comandos y MLX Core, una aplicación nativa para la barra de menú de macOS con modo de chat, modo agente y llamadas a herramientas integradas.
La diferencia técnica clave respecto a Ollama: Ollama utiliza internamente llama.cpp, que ejecuta los modelos a través de rutas de cómputo genéricas que funcionan en cualquier plataforma pero no están optimizadas específicamente para la arquitectura Unified Memory de los chips M de Apple. mlx-serve habla directamente con MLX, el framework de machine learning de Apple, y con los kernels Metal de la GPU integrada. Eso es lo que genera la diferencia de rendimiento.
GGUF vs. pesos nativos MLX: por qué importa el formato
GGUF es el formato de cuantización desarrollado para llama.cpp. Su ventaja es la portabilidad: funciona en Linux, Windows y macOS. En Apple Silicon, sin embargo, el cómputo pasa por las rutinas genéricas de llama.cpp en lugar de por las optimizaciones específicas del chip.
Los pesos nativos de MLX están adaptados directamente para el framework de Apple. La aritmética corre sobre las mismas unidades de cómputo, accede al mismo subsistema de memoria y se beneficia de optimizaciones que Apple ha incluido específicamente para la generación de chips M. El resultado práctico: más tokens por segundo con el mismo hardware, sin ningún coste adicional.
Rendimiento: lo que muestran los benchmarks
Según los benchmarks del proyecto, ejecutados en un Apple M4 Max con pesos de 4 bits idénticos, mlx-serve obtiene:
- Qwen 3.6 27B: ~29 tok/s en modo base, hasta 58,4 tok/s con Multi-Token Prediction (MTP) activado
- Gemma 4 E4B: ~118 tok/s
- +48 % de media geométrica en 18 combinaciones de carga frente a LM Studio 0.4.15
- Aceleración de prefill: 1,8–2,5× más rápido que LM Studio en modelos Gemma pequeños
La herramienta complementaria MTPLX se centra exclusivamente en la decodificación especulativa basada en MTP. Mediciones reportadas por la comunidad apuntan a ~63 tok/s en Qwen 3.6 27B sobre M5 Max y a una aceleración de aproximadamente 2,6× sobre hardware MacBook Pro respecto al baseline estándar de MLX.
Cómo funciona la predicción multitokens (MTP)
La decodificación especulativa clásica ejecuta un modelo borrador pequeño y rápido que propone varios tokens; el modelo grande los verifica en un único paso agrupado. Si la propuesta es correcta, se obtienen varios tokens al coste de uno.
mlx-serve y MTPLX aplican una optimización específica: utilizan las propias cabezas MTP internas del modelo como borrador, en lugar de cargar un segundo modelo separado. Los checkpoints modernos de Qwen 3.5/3.6 y Llama 3.x ya incluyen estas cabezas. El resultado es consumo de RAM adicional cero y ningún segundo modelo que gestionar. Según los benchmarks del proyecto, esto aporta +15–26 % en tareas de código y +44–61 % en bucles agénticos mediante Prompt Lookup Decoding.
Compatibilidad de API: sustituto directo de Ollama
Los equipos que ya usan Ollama no necesitan cambiar ninguna herramienta. mlx-serve implementa el protocolo wire de Ollama de forma completa:
/api/chaty/api/generate— idénticos a Ollama/v1/chat/completions— compatible con OpenAI/v1/messages— API de mensajes de Anthropic
Las aplicaciones apuntando a http://localhost:11434 (el puerto por defecto de Ollama) funcionan inmediatamente tras cambiar a http://localhost:11234. Open WebUI, Raycast, Obsidian y herramientas similares no requieren ninguna configuración adicional.
Instalación
brew install mlx-serve
mlx-serve run qwen3.6:27bLa descarga del modelo y el arranque del servidor son automáticos. Para equipos que utilizan un Mac Mini o Mac Studio como servidor de inferencia compartido, mlx-serve puede registrarse como servicio launchd para iniciarse automáticamente con el sistema.
Capacidades adicionales
mlx-serve no se limita a la generación de texto. Según la documentación del proyecto, también soporta:
- Generación y edición de imágenes: FLUX.2, Krea-2
- Generación de vídeo: LTX-Video 2.3
- Síntesis de voz con clonación de voz: Qwen3-TTS
- Cuantización del KV-cache (4 bits/8 bits): reduce el uso de memoria entre 2 y 4 veces
- Prefix caching: los prompts de sistema y las conversaciones multi-turno quedan en caché, acelerando peticiones recurrentes
Estos dos últimos puntos son relevantes para PYMES que ejecutan flujos de trabajo multi-agente o pipelines de procesamiento de documentos en infraestructura local.
Relevancia para las PYMES españolas: más valor del hardware existente
El kit típico de entrada de los clientes de Freshlab en España es un Mac Mini M4 o un Mac Studio M3 Ultra. Con Ollama y llama.cpp, Qwen 3.6 27B en un M4 Max funciona según informes de la comunidad a unos 20–25 tok/s. Con mlx-serve y MTP activado, el mismo hardware alcanza hasta 58 tok/s — más del doble, con coste adicional cero.
Para un equipo de cinco personas que resume documentos internos, redacta presupuestos o responde consultas con un LLM local, el tiempo de respuesta baja de 8–10 segundos a 3–4 segundos por petición. En diez peticiones diarias por persona, eso recupera más de una hora de espera a la semana — sobre infraestructura que mantiene cada token en las instalaciones de la empresa.
Kit Digital: la subvención que hace aún más rentable el cambio
Para las PYMES que todavía no han implementado IA local, el programa Kit Digital cubre parte de la inversión en hardware y soluciones de IA. Un Mac Mini M4 con mlx-serve, Open WebUI y Qwen 3.6 27B representa una inversión inicial de aproximadamente 700–800 € en hardware y software de configuración — muy por debajo de los límites de la mayoría de segmentos del Kit Digital.
La combinación de mlx-serve (mayor rendimiento por token) y Kit Digital (cofinanciación de la inversión) hace que el retorno de la inversión de un stack de IA local se acelere significativamente frente a un escenario de nube. Las suscripciones a ChatGPT Team, Claude Pro o APIs externas suman fácilmente 150–250 € mensuales para un equipo pequeño; con infraestructura local, ese coste se reduce a la electricidad — estimada en 15–25 € anuales para un Mac Mini en funcionamiento continuo, según nuestra interpretación de las especificaciones de consumo de Apple.
¿Sustituye mlx-serve completamente a Ollama?
No de forma universal, todavía. Ollama tiene un ecosistema de modelos más amplio, gestión de modelos más madura y una comunidad mayor. Los equipos que trabajan principalmente con modelos GGUF o necesitan checkpoints especializados siguen bien servidos con Ollama. mlx-serve incluye llama.cpp como fallback para GGUF — pero la ventaja de rendimiento es más clara con pesos nativos MLX.
Para PYMES que ejecutan Qwen 3.x, Gemma 4 o Llama 3.x en Apple Silicon, mlx-serve es hoy la opción con mejor rendimiento medible.
Si quieres saber si tu configuración actual se beneficiaría de un cambio de runtime — o cuál es el stack más adecuado para los flujos de trabajo de tu equipo — estamos disponibles para ayudarte: inicia un proyecto piloto.