Los documentos que un despacho o una clínica más necesita consultar con IA son precisamente los que no pueden salir del edificio. Expedientes de clientes, contratos, dictámenes, historiales médicos. Ahí fallan los asistentes de nube habituales, y ahí es donde la IA local se vuelve interesante.
RAG significa Retrieval Augmented Generation. Dicho de forma sencilla, el modelo de lenguaje no responde con su conocimiento de entrenamiento, sino a partir de sus propios documentos, con la referencia incluida. Usted pregunta "¿Cuál es el plazo de preaviso en el contrato marco con el proveedor X?", y el sistema devuelve la respuesta más el fragmento del que procede.
La cuestión clave es dónde ocurre esa búsqueda. Con los servicios de nube conocidos, sus documentos viajan a servidores de terceros para procesarse. Con una instalación RAG local, cada archivo se queda en su propio hardware.
Qué es realmente un stack RAG local
Intervienen tres componentes, y en una instalación local todos funcionan on-premise:
- Modelo de embeddings: convierte sus documentos en vectores consultables. Modelos abiertos y compactos como nomic-embed-text o mxbai-embed funcionan sin problema en un Mac Studio o una estación de trabajo de gama media.
- Base de datos vectorial: almacena esos vectores y recupera los fragmentos relevantes para cada pregunta. ChromaDB y Qdrant son opciones habituales, ambas autoalojadas.
- Modelo de lenguaje: redacta la respuesta a partir de los fragmentos recuperados. Con Ollama ejecuta aquí modelos locales, así que ni un solo token sale de su red.
Ninguno de estos componentes necesita conexión a internet en funcionamiento. Esa es la diferencia que importa en profesiones reguladas. El argumento de fondo, que la capa de software decide la utilidad diaria más que el hardware, ya lo explicamos con datos estructurados en consultar el ERP con IA local. Con documentos no estructurados vale lo mismo, y la palanca de privacidad es aún mayor.
Por qué el RAG en la nube es delicado para despachos y clínicas
Abogados, médicos, asesores fiscales y otros profesionales están sujetos al deber de secreto profesional. Según nuestra interpretación, ese deber es justo la razón por la que enviar material protegido a un procesador externo lleva años siendo un terreno resbaladizo para estos sectores. En el caso de la abogacía, el deber de confidencialidad frente al cliente es un pilar del ejercicio, no un detalle contractual.
Con los datos de salud se suma el RGPD. Los datos de salud entran en las categorías especiales de datos personales del artículo 9 y gozan de protección reforzada. Los acuerdos con clientes y las cláusulas sobre datos de pacientes prohíben con frecuencia transmitir ese material a un tercero que lo procese.
Este es el núcleo. Una instalación RAG local evita en gran medida la cuestión del proveedor externo, porque no hay procesador externo. No hay nadie a quien auditar, ningún contrato de nube que hacer cumplir, ninguna transferencia a un tercero que justificar. El expediente se queda en casa. Eso no le libera de sus obligaciones generales, pero retira toda una categoría de riesgo de la mesa.
El stack local en el día a día
Un montaje realista para un despacho o una clínica de tamaño medio tiene este aspecto:
- Un Mac Studio o una estación con GPU en la sala de servidores, accesible solo desde la red interna.
- Ollama como servidor de modelos, más un modelo en el rango de 8B a 32B parámetros según el hardware.
- Un modelo de embeddings local y una base de datos vectorial autoalojada sobre el fondo documental.
- Un frontend web sencillo en la intranet donde el personal escribe sus preguntas.
La calidad depende menos del modelo que de la preparación. Cómo divide los documentos en fragmentos con sentido, cómo reordena los resultados, cómo contrasta las respuestas con la fuente: eso decide si el sistema aguanta en la práctica. Un stack pequeño bien construido supera a un modelo grande con mala recuperación.
El otro caso de uso frecuente en estas oficinas es la transcripción: levantar actas automáticas de reuniones con clientes y sesiones de trabajo, también sin nube. Lo explicamos en Whisper local para actas de reunión.
Para pymes españolas, buena parte de esta inversión puede encajar en las categorías subvencionables del Kit Digital, lo que rebaja bastante el coste de arranque frente a una suscripción SaaS mensual indefinida.
Límites, dichos con honestidad
La IA RAG local no se instala y se olvida. La puesta en marcha lleva tiempo, alguien debe mantener los modelos y la base de datos, y un modelo de 14B ejecutado localmente no responde al nivel de los modelos de nube más grandes. Para encontrar y resumir hechos de su propio fondo, la calidad suele bastar de sobra según reportan los profesionales; para razonamiento jurídico complejo, menos.
Y la IA local también se equivoca. Las respuestas con referencia ayudan, porque puede verificar al instante, pero la responsabilidad profesional sigue siendo humana. Trate el sistema como un asistente de búsqueda rápido, no como quien decide.
Si valora cuánto control de datos necesita de verdad su actividad, nuestra página sobre soberanía de datos plantea el marco más amplio.
¿Se pregunta si un asistente RAG local sale a cuenta para sus documentos confidenciales? Hable con nosotros sobre un proyecto piloto que probamos juntos sobre su propio fondo documental.