IBM Granite: die lokale KI mit ISO-42001-Zertifikat

Seit dem 2. August greifen die Transparenzpflichten des EU AI Act (dazu haben wir die Fristen einzeln aufgeschluesselt, siehe EU AI Act: was zum 2. August 2026 gilt). Damit verschiebt sich eine Frage, die viele Betriebe bisher ausgeblendet haben: Nicht nur, wo ein Modell rechnet, sondern wie es entstanden ist, wird pruefbar. Wer im Audit erklaeren muss, welches System welche Trainingsdaten gesehen hat, steht bei den meisten Open-Weight-Modellen vor einer leeren Seite.

Genau an diesem Punkt sticht IBMs Granite-Familie heraus. Granite ist nach IBMs eigener Ankuendigung seit November 2025 die erste offene Modellfamilie mit einer ISO-42001-Zertifizierung. Fuer einen Mittelstaendler, der lokale KI datenschutzkonform einsetzen will, ist das kein Marketing-Etikett, sondern ein Stueck Beweislast, das jemand anderes schon geliefert hat.

Was ISO 42001 zertifiziert, und was nicht

ISO 42001 ist der erste internationale Standard fuer KI-Managementsysteme. Er beschreibt nicht, ob eine einzelne Antwort korrekt ist, sondern ob der Anbieter einen dokumentierten Prozess fuer Verantwortlichkeit, Nachvollziehbarkeit, Datenschutz und Zuverlaessigkeit betreibt. Vereinfacht: zertifiziert wird die Werkstatt, nicht das einzelne Werkstueck.

Das klingt nach einer Feinheit, ist aber praktisch entscheidend. Der EU AI Act verlangt von Betreibern kein perfektes Modell, sondern nachweisbare Sorgfalt bei Auswahl und Betrieb. Ein Modell, dessen Herkunft und Governance dokumentiert und extern geprueft sind, verkuerzt genau diese Nachweiskette. Sie muessen weniger selbst belegen, weil ein anerkannter Rahmen einen Teil davon bereits abdeckt.

Wichtig bleibt die ehrliche Abgrenzung: Das Zertifikat gilt IBMs Management der Modelle, nicht Ihrem Einsatz davon. Ihre eigene Anwendung, Ihre Datenverarbeitung und Ihre Kontrollen muessen Sie weiterhin selbst verantworten. Was Sie gewinnen, ist ein sauberer Ausgangspunkt, kein fertiges Compliance-Paket.

Granite in Zahlen: klein genug fuer den Mittelstand

Granite ist bewusst keine Frontier-Show. Die aktuelle Generation Granite 4.1 kam laut IBM am 29. April 2026 heraus, in drei Groessen mit 3B, 8B und 30B Parametern, alle unter der freizuegigen Apache-2.0-Lizenz. Kommerzielle Nutzung und lokale Anpassung sind also ohne Ruecksprache erlaubt.

Zwei technische Entscheidungen machen die Modelle fuer kleinere Betriebe interessant:

• Hybride Architektur. Granite 4.0 hatte im Oktober 2025 eine Mischung aus Mamba-2-Schichten und wenigen Attention-Bloecken eingefuehrt, im Verhaeltnis von etwa neun zu eins. Laut IBM senkt das den Arbeitsspeicherbedarf bei langem Kontext und vielen parallelen Sitzungen um mehr als 70 Prozent gegenueber klassischen Transformer-Modellen. Das uebersetzt sich direkt in guenstigere Hardware.
• Kompakte Groessen. Das 8B-Modell aus Granite 4.1 erreicht nach IBMs Angaben das Niveau des aelteren 32B-Mixture-of-Experts-Modells, bei deutlich einfacherer Bauform. Solche Vergleiche sollten Sie an Ihren eigenen Aufgaben nachpruefen, die Richtung ist aber klar: mehr Leistung pro Gigabyte.

In der Praxis heisst das, dass ein 8B-Granite in 4-Bit-Quantisierung auf einer Workstation mit rund 8 bis 12 GB Grafikspeicher laeuft, das 30B-Modell auf einer besser ausgestatteten Maschine oder einem Mac Studio mit grosszuegigem Unified Memory. Kein Rechenzentrum, kein Cluster mit acht Beschleunigern, wie ihn die ganz grossen offenen Modelle inzwischen verlangen.

Warum das fuer die EU-AI-Act-Pflichten zaehlt

Der eigentliche Wert liegt in der Kombination aus lokaler Verarbeitung und dokumentierter Governance. Betreiben Sie Granite auf eigener Hardware, verlaesst keine Anfrage Ihr Netz. Das ist unsere Grundposition zur Datensouveraenitaet: Souveraen ist, wo verarbeitet wird, nicht wessen Logo auf dem Modell steht. Wie so eine Umgebung aussieht, beschreiben wir unter lokale KI.

Der Unterschied zu einem beliebigen Open-Weight-Modell ist die Prueffaehigkeit. Viele der staerksten offenen Modelle kommen aus Laboren, die zu Trainingsdaten und Prozessen wenig offenlegen (wir haben das getrennt betrachtet, siehe Chinesische Open-Weight-Modelle lokal betreiben). Fuer die reine Datenverarbeitung ist das nach unserem Verstaendnis zweitrangig, sobald Sie air-gapped betreiben. Sobald es aber um regulierte Ausgaben oder um einen Auditbericht geht, ist ein Modell mit externem Governance-Nachweis leichter zu verteidigen als eines ohne.

Fuer Betriebe, die ein kunden- oder personennahes System betreiben, spart das reale Arbeit. Statt eines Achselzuckens zur Frage, woher die Gewichte stammen, hat Ihre datenschutzverantwortliche Person einen dokumentierten Anker. Das ersetzt keine Folgenabschaetzung, aber es fuellt eine Zeile, die sonst leer bliebe.

Fuer deutsche Mittelstaendler, die eine KI-Anschaffung ueber BAFA- oder KfW-Programme foerdern lassen, ist das ein zusaetzliches Argument. Ein zertifizierter, quelloffener und lokal betriebener Ansatz laesst sich in einem Foerderantrag sauberer begruenden als ein intransparenter Cloud-Dienst mit unklarer Datenlage. Wer ohnehin plant, Mitarbeitende im Umgang mit dem Modell zu schulen, kann das foerderfaehig mitdenken (dazu unser Angebot zu Schulungen).

Kein Freifahrtschein: was Sie selbst leisten muessen

Ein Zertifikat auf dem Modell erspart Ihnen nicht die eigene Hausaufgabe. Bevor Granite in einen Geschaeftsprozess wandert, gehoeren drei Dinge geklaert:

• Lizenz lesen, nicht das Etikett. Apache 2.0 ist unkritisch und erlaubt kommerziellen Einsatz. Pruefen Sie trotzdem, ob die von Ihnen genutzte Variante wirklich unter dieser Lizenz steht und nicht unter einer Zusatzbedingung.
• Eigene Tests statt Anbieterzahlen. Ein kleiner, auf Ihre echten Faelle zugeschnittener Testsatz sagt mehr als jede Rangliste. Gerade auf Deutsch und in Ihrer Fachdomaene kann ein Modell anders abschneiden als im englischen Benchmark.
• Menschliche Kontrollstufe, wo es zaehlt. Fuer regulierte Inhalte braucht es ohnehin eine Freigabe durch einen Menschen. Das ist eine Frage des Prozesses, nicht des Modells, und der AI Act sieht sie so vor.

Wer diese Punkte klaert, dokumentiert damit nebenbei genau die Sorgfalt, die im Ernstfall verlangt wird.

Wie ein Einstieg aussieht

Granite ist kein Selbstlaeufer, aber ein ungewoehnlich sauberer Startpunkt fuer Betriebe, die Datenschutz und Foerderfaehigkeit ernst nehmen. Der pragmatische Weg ist ein abgestecktes Pilotprojekt: ein klar umrissener Anwendungsfall, das kleinste Granite-Modell, das die Aufgabe zuverlaessig loest, und ein Test an Ihren echten Daten, bevor Sie sich festlegen. Wenn Sie wissen wollen, ob Granite zu Ihren Aufgaben und Ihrer Hardware passt, sprechen Sie mit uns.