Die Dokumente, die eine Kanzlei oder Praxis am dringendsten mit KI durchsuchen möchte, sind ausgerechnet die, die das Haus nicht verlassen dürfen. Mandantenakten, Verträge, Gutachten, Patientenbefunde. Genau hier scheitern die üblichen Cloud-Assistenten, und genau hier wird lokale KI interessant.
RAG steht für Retrieval Augmented Generation. Vereinfacht: Das Sprachmodell beantwortet Fragen nicht aus seinem Trainingswissen, sondern aus Ihren eigenen Dokumenten, mit Fundstelle. Sie fragen "Welche Kündigungsfrist steht im Rahmenvertrag mit Lieferant X?", und das System zeigt die Antwort plus die Textstelle, aus der sie stammt.
Der springende Punkt ist, wo dieses Durchsuchen passiert. Bei den bekannten Cloud-Diensten wandern Ihre Dokumente zur Verarbeitung auf fremde Server. Bei einer lokalen RAG-Installation bleibt jede Datei auf Ihrer eigenen Hardware.
Was ein lokaler RAG-Stack ausmacht
Technisch sind drei Bausteine im Spiel, alle davon laufen bei einer lokalen Installation on-premise:
- Embedding-Modell: zerlegt Ihre Dokumente in durchsuchbare Vektoren. Verbreitet sind kompakte, quelloffene Modelle wie nomic-embed-text oder mxbai-embed, die problemlos auf einem Mac Studio oder einer mittleren Workstation laufen.
- Vektordatenbank: speichert diese Vektoren und findet auf eine Frage hin die passenden Textstellen. ChromaDB oder Qdrant sind gängige Optionen, beide selbst gehostet.
- Sprachmodell: formuliert aus den gefundenen Stellen die Antwort. Über Ollama betreiben Sie hier lokale Modelle, ohne dass ein Token Ihr Netz verlässt.
Kein Baustein braucht eine Internetverbindung im Betrieb. Das ist der Unterschied, auf den es in regulierten Berufen ankommt. Wir haben die grundsätzliche Logik, dass der Software-Stack über die Alltagstauglichkeit entscheidet, schon am Beispiel strukturierter Daten beschrieben, siehe ERP-Abfragen mit lokaler KI. Bei unstrukturierten Dokumenten gilt dasselbe, nur ist der Datenschutz-Hebel noch grösser.
Warum Cloud-RAG in Kanzlei und Praxis heikel ist
Anwältinnen, Ärzte, Steuerberater und andere Berufsgeheimnisträger unterliegen dem Schutz von Privatgeheimnissen nach Paragraf 203 StGB. Die Weitergabe geschützter Geheimnisse an unbefugte Dritte ist strafbewehrt. Gemäss unserem Verständnis war genau das lange der Grund, warum externe IT-Dienstleister für diese Berufe rechtlich schwierig waren.
Mit dem Gesetz zum Schutz von Berufsgeheimnissen von Ende 2017 wurde das entschärft. Seither erlaubt Paragraf 43e BRAO Anwältinnen die Inanspruchnahme externer Dienstleister ausdrücklich, allerdings unter Auflagen: Der Dienstleister muss sorgfältig ausgewählt, in Textform zur Verschwiegenheit verpflichtet werden, und es gilt das Need-to-know-Prinzip. Für Cloud-Anbieter heisst das ein Geflecht aus Verträgen, Auftragsverarbeitung und laufender Kontrolle.
Bei Gesundheitsdaten kommt die DSGVO hinzu. Gesundheitsdaten zählen nach Artikel 9 zu den besonderen Kategorien personenbezogener Daten und geniessen erhöhten Schutz.
Der entscheidende Gedanke: Eine lokale RAG-Installation umgeht die Dienstleisterfrage weitgehend, weil es keinen externen Verarbeiter gibt. Es gibt niemanden auszuwählen, keinen Cloud-Vertrag durchzusetzen, keine Datenübermittlung an einen Dritten zu rechtfertigen. Die Akte bleibt im Haus. Das entbindet Sie nicht von Ihren allgemeinen Pflichten, aber es nimmt eine ganze Kategorie von Risiken vom Tisch.
Der lokale Stack im Alltag
Ein realistisches Setup für eine mittelgrosse Kanzlei oder Praxis sieht so aus:
- Ein Mac Studio oder eine GPU-Workstation im Serverraum, erreichbar nur im internen Netz.
- Ollama als Modell-Server, dazu ein Modell im Bereich von 8B bis 32B Parametern, je nach Hardware.
- Ein lokales Embedding-Modell und eine selbst gehostete Vektordatenbank für den Dokumentenbestand.
- Ein einfaches Web-Frontend im Intranet, über das Mitarbeitende Fragen stellen.
Die Qualität hängt weniger am Modell als an der Aufbereitung. Wie Sie Dokumente in sinnvolle Abschnitte zerlegen, wie Sie Treffer nachrangig sortieren, wie Sie Antworten gegen die Quelle prüfen, das entscheidet, ob das System im Kanzleialltag trägt. Ein sauber gebauter kleiner Stack schlägt hier ein grosses Modell mit schlechtem Retrieval.
Der zweite häufige Anwendungsfall in diesen Häusern ist übrigens die Verschriftlichung: Mandantengespräche und Fallbesprechungen automatisch protokollieren, ebenfalls ohne Cloud. Dazu haben wir Whisper lokal für Meeting-Protokolle beschrieben.
Grenzen, ehrlich benannt
Lokale RAG-KI ist kein Selbstläufer. Die Einrichtung kostet Zeit, jemand muss Modelle und Datenbank pflegen, und ein lokal laufendes 14B-Modell antwortet nicht auf dem Niveau der grössten Cloud-Modelle. Für das Auffinden und Zusammenfassen von Fakten aus dem eigenen Bestand reicht die Qualität nach Berichten aus der Praxis meist deutlich aus, für komplexe juristische Argumentation eher nicht.
Und: Auch lokale KI kann sich irren. Antworten mit Fundstelle helfen, weil Sie sofort gegenprüfen können, aber die fachliche Verantwortung bleibt beim Menschen. Behandeln Sie das System als schnellen Rechercheassistenten, nicht als Entscheider.
Wer abwägt, wie viel Datenhoheit der eigene Betrieb wirklich braucht, findet auf unserer Seite zur Datensouveränität den grösseren Rahmen.
Sie überlegen, ob sich ein lokaler RAG-Assistent für Ihre vertraulichen Dokumente rechnet? Sprechen Sie mit uns über ein Pilotprojekt, das wir gemeinsam an Ihrem Aktenbestand testen.