Der lokale KI-Markt wächst schnell, und mit ihm die Werkzeugvielfalt. Auf X beobachtet Saiyam Pathak den Trend treffend: "The Local LLM space in 2026 is where Kubernetes was in 2017. Lots of tools. Confusing landscape. Best practices still emerging." Für kleine und mittlere Unternehmen ohne eigene KI-Entwickler stellt sich die Frage: Wie nutzt man diese Technologie, ohne erst ein spezialisiertes technisches Team aufzubauen?
Flowise ist eine der überzeugendsten Antworten auf diese Frage, ein quelloffener, visueller Builder für KI-Workflows und Agenten, der keine Programmierkenntnisse voraussetzt.
Was ist Flowise?
Flowise ist eine Open-Source-Plattform, die auf GitHub unter FlowiseAI/Flowise verfügbar ist. Das Herzstück ist ein Drag-and-Drop-Canvas: Statt Python-Code zu schreiben, verbinden Sie visuelle Bausteine miteinander, ein Sprachmodell hier, eine Wissensdatenbank dort, ein Tool-Call dazwischen.
Das Projekt hat sich 2026 zu einer vollwertigen Agentenplattform entwickelt. Das sogenannte Agentflow-Konzept unterstützt dabei vier Ausbaustufen:
- Chat-Assistenten für einfache Konversationen und FAQ-Szenarien
- Einzelne Agenten mit Werkzeugzugang (Web-Suche, Datenbanken, APIs)
- Multi-Agenten-Systeme mit parallelen Teilaufgaben und Koordination
- Komplexe Orchestrierungsflows mit Bedingungen, Schleifen und menschlicher Freigabe
Lokale LLMs anschließen via Ollama
Flowise unterstützt Dutzende Modellanbieter, für KMU mit Datenschutzanforderungen ist die lokale Variante entscheidend. Via Ollama lässt sich jedes gängige Open-Source-Modell ohne API-Schlüssel einbinden:
- Llama 3.3 (8B-70B), ausgewogen für Reasoning und deutschsprachige Texte
- Qwen2.5 (7B-72B), stark in Code, strukturierter Ausgabe und Mehrsprachigkeit
- DeepSeek-V3 (7B-67B), analytische Aufgaben und Langkontext-Zusammenfassungen
- Gemma 3 (12B), ressourcenschonend, gut geeignet für Apple-Silicon-Hardware
Auf einem Mac Studio M3 Ultra mit 192 GB unified memory laufen Modelle wie Qwen2.5 72B laut Berichten aus der Community bei 20-35 Tokens pro Sekunde, ausreichend für produktive Agenten-Workloads. Flowise kommuniziert mit Ollama über dessen lokale API-Endpunkt; kein Aufruf verlässt das Netzwerk.
RAG, Gedächtnis und Tool-Calls, alles lokal
Das eigentliche Potenzial entfaltet Flowise, wenn mehrere Fähigkeiten in einem einzigen visuellen Flow kombiniert werden:
Retrieval-Augmented Generation (RAG)
Flowise enthält einen nativen Vector Store-Baustein. Sie laden Ihre eigenen Dokumente, Verträge, Handbücher, Support-Tickets, hoch, und diese werden lokal mit Embedding-Modellen wie nomic-embed-text oder mxbai-embed-large via Ollama eingebettet. Die resultierenden Vektoren landen in ChromaDB oder Qdrant, beide vollständig selbst hostbar.
Bei jeder Anfrage durchsucht der Agent automatisch die relevantesten Dokumentabschnitte und integriert sie in den Kontext des Modells. Ihre Unternehmensdaten bleiben lückenlos auf der eigenen Infrastruktur.
Konversationsgedächtnis
Der Memory-Baustein speichert den Gesprächsverlauf, für Support-Agenten oder interne Helpdesks eine Grundvoraussetzung, damit der Kontext über mehrere Nachrichten hinweg erhalten bleibt. Flowise unterstützt RAM-Speicherung für Entwicklung sowie Redis oder SQLite für den Produktivbetrieb.
Tool-Calls und interne Aktionen
Agenten können Werkzeuge aufrufen: SQL-Abfragen auf internen Datenbanken, HTTP-Aufrufe zu eigenen APIs, Dateisystemoperationen oder benutzerdefinierte JavaScript-Funktionen. Alles bleibt hinter Ihrer Firewall.
Installation in drei Schritten
Für KMU-Server empfiehlt sich Docker Compose:
git clone https://github.com/FlowiseAI/Flowise.git
cd Flowise/docker
docker compose up -dDie Oberfläche ist danach unter http://localhost:3000 erreichbar. Für den Produktivbetrieb ergänzt man einen nginx-Reverse-Proxy mit HTTPS und optionaler Basisauthentifizierung. Ollama läuft auf demselben Server oder einem separaten Rechner im LAN; Flowise verbindet sich per IP-Adresse.
Die Hardware-Anforderungen skalieren mit dem gewählten Modell. Ein Mac Mini M4 mit 32 GB bewältigt 7B-Modelle problemlos. Ein Mac Studio M2 Max oder ein Server mit NVIDIA RTX 4090 öffnet den Bereich von 13B-30B ohne Einschränkungen.
Praxisbeispiele für KMU
Interne Dokumentensuche
Eine mittelständische Kanzlei oder ein Steuerberatungsbüro kann sein gesamtes Vertragsarchiv, die Richtlinienbibliothek und frühere Korrespondenz per natürlicher Sprache durchsuchbar machen. „Welche Mandantenverträge laufen im vierten Quartal 2026 aus?" liefert direkte Textauszüge mit Quellenangaben, ohne dass ein Cloud-Dienst die Dateien zu Gesicht bekommt.
Kundenservice-Assistent
Einzelhändler oder Dienstleister können einen Flowise-Agenten auf Basis des eigenen Produktkatalogs und einer FAQ-Datenbank betreiben. Da keine Kundenanfrage das lokale Netzwerk verlässt, entfällt die aufwendige DSGVO-Beurteilung für externe KI-Verarbeitungen.
Interne Wissensdatenbank
Produktions- oder Logistikunternehmen mit verteilter Dokumentation, ISO-Prozesse, Wartungshandbücher, Sicherheitsdatenblätter, erhalten eine konversationelle Oberfläche für ihr bestehendes Wissen, ohne zugrundeliegende Systeme ersetzen zu müssen.
DSGVO-Konformität durch Architektur
Wenn Flowise, Ollama, die Vektordatenbank und alle Konnektoren auf der eigenen Infrastruktur laufen, unterliegen alle Verarbeitungsschritte der direkten Kontrolle des Betreibers. Es gibt keinen Auftragsverarbeiter zu beauftragen, keine Drittlandübermittlung zu rechtfertigen und keine Cloud-Nutzungsbedingungen zu prüfen.
Gemäß unserem Verständnis von DSGVO Art. 25 (Datenschutz durch Technikgestaltung) bieten lokal-zuerst-Architekturen strukturelle Vorteile, die cloudbasierte KI-Werkzeuge allein durch Policy-Änderungen nicht nachbilden können. Für Branchen mit besonders sensiblen personenbezogenen Daten, Gesundheitswesen, Rechtsberatung, Personalwesen, ist das kein Detail, sondern ein Compliance-Fundament.
Mehr zu den Grundlagen lokaler KI erfahren Sie auf unserer Local-AI-Übersichtsseite. Wenn Sie wissen möchten, wie wir Flowise-Pilotprojekte strukturieren, beschreibt unsere Pilotprojekt-Seite den konkreten Ablauf. Fragen zur Datensouveränität beantworten wir auch auf unserer Data-Sovereignty-Seite.
Fazit
Flowise senkt die Einstiegsschwelle für produktive KI-Agenten erheblich. Was bisher Python-Kenntnisse und tiefes Verständnis von LangChain oder LlamaIndex erforderte, lässt sich nun per Drag & Drop konfigurieren, und bleibt trotzdem vollständig auf Ihrer eigenen Hardware.
Die Kombination aus Flowise, Ollama und ChromaDB liefert einen produktionstauglichen Agenten-Stack ohne monatliche API-Kosten und ohne Cloud-Abhängigkeiten. Für KMU, die mit lokaler KI starten wollen, ist das aktuell einer der zugänglichsten Einstiegspunkte überhaupt.
Sprechen Sie uns an, wenn Sie wissen möchten, welche Modelle und Konfigurationen für Ihre spezifischen Anforderungen geeignet sind.