KI-Sichtbarkeit messen: Methodik statt Screenshot

Ein Kunde fragt einen KI-Assistenten nach einem Anbieter für Ihre Leistung. Erscheinen Sie in der Antwort? Und wenn ja, wie oft, bei welchen Fragen, auf welcher Plattform? Diese Frage lässt sich beantworten, aber nicht mit einem Screenshot und einem Bauchgefühl. Sie braucht eine Methode.

Der Grund ist einfach: Ein Sprachmodell würfelt jede Antwort neu. Wer die Sichtbarkeit seriös messen will, muss diese Streuung einplanen, statt sie zu ignorieren. Was das konkret heißt, steht hier.

Warum ein einzelner Screenshot nichts beweist

Sprachmodelle antworten nicht deterministisch. Stellen Sie dieselbe Frage fünfmal, bekommen Sie oft fünf leicht verschiedene Antworten, manchmal mit ganz anderen Firmennamen. Ein Screenshot friert einen dieser Ausgänge ein. Er sagt, dass Sie einmal genannt wurden oder einmal fehlten, mehr nicht.

Für eine Entscheidung ist das zu wenig. Wenn Sie in drei von zehn Antworten vorkommen, ist das eine ganz andere Lage, als wenn Sie in neun von zehn fehlen, und beide Fälle können denselben Screenshot erzeugen. Die einzige belastbare Aussage ist eine Häufigkeit über viele Durchläufe. Alles darunter ist Anekdote.

Drei Ebenen: Nennung, Zitierung, Empfehlung

Bevor Sie messen, klären Sie, was Sie überhaupt zählen. "Die KI kennt uns" kann drei Dinge bedeuten, und jedes hat einen anderen geschäftlichen Wert.

• Nennung: Ihr Name taucht in der Antwort auf, ohne Quelle. Das Modell hat Sie im Training gesehen.
• Zitierung: Die Antwort verweist auf eine belegbare Quelle, meist Ihre Website oder einen Artikel. Das passiert vor allem bei aktiver Websuche.
• Empfehlung: Die KI stellt Sie aktiv als passende Wahl heraus. Diese Ebene bringt den meisten Umsatz und ist am schwersten zu erreichen.

Wer diese drei zu einer Kennzahl verrührt, misst an der Sache vorbei. Genannt, aber nie empfohlen zu werden, ist ein anderes Problem als gar nicht vorzukommen. Die Diagnose dahinter haben wir in ChatGPT empfiehlt den Wettbewerber beschrieben, den ersten Selbsttest in Nennt ChatGPT mein Unternehmen. Dieser Text geht einen Schritt weiter: von der Stichprobe zur systematischen Messung.

Von der Einzelfrage zur Abfragebatterie

Eine gute Messung stützt sich nicht auf eine Frage, sondern auf eine Batterie von Fragen, die abbildet, wie Kunden wirklich suchen. Eine einzelne Formulierung trifft immer nur einen Ausschnitt.

Decken Sie die Intent-Typen ab, mit denen Menschen an einen Anbieter herangehen:

• Reine Suche: "Wer bietet Leistung X in Region Y an?"
• Vergleich: "Welche Anbieter für X gibt es und worin unterscheiden sie sich?"
• Problemlösung: "Ich habe Problem Z, wer kann das lösen?"
• Nachfrage: "Ist Firma A für X eine gute Wahl?"

Formulieren Sie jede Absicht mehrfach und in der Sprache Ihrer Kunden. Ein deutscher Mittelständler wird auf Deutsch gefragt, ein Exporteur auch auf Englisch oder Spanisch. Die Antworten unterscheiden sich je Sprache spürbar, weil die zugrunde liegenden Quellen andere sind.

Die Marke gehört meistens nicht in den Prompt

Der häufigste Messfehler: den eigenen Namen in die Frage schreiben. "Was macht Firma A?" beantwortet fast jedes Modell freundlich, sobald Firma A irgendwo dokumentiert ist. Das misst nur, ob das Modell zu einem bekannten Namen etwas ausgeben kann, und das kann es meistens.

Die geschäftlich wichtige Frage lautet anders: Werden Sie genannt, wenn niemand Ihren Namen vorgibt? Nur die markenfreie Frage bildet die Situation eines echten Interessenten ab, der Sie noch nicht kennt. Ein kleiner Anteil markenhaltiger Fragen darf dabei sein, um die Ebene Zitierung zu prüfen, aber das Rückgrat der Batterie bleibt neutral.

Websuche an oder aus verändert alles

Ob ein Modell live im Netz sucht oder aus dem Training antwortet, ändert das Ergebnis grundlegend. Mit aktiver Websuche zieht die Antwort aktuell abgerufene Seiten heran, dann zählt, wer heute gut auffindbar ist. Ohne Websuche antwortet das Modell aus dem, was es beim Training gesehen hat, ein Stand von vor Monaten.

Daraus folgt ein praktischer Fallstrick. Die Chat-Oberfläche vieler Anbieter hat die Websuche standardmäßig an, die API oft nicht. Wer bequem über die API misst, sieht deshalb ein anderes Bild als der Kunde, der in der App fragt. Halten Sie beide Modi getrennt und dokumentieren Sie pro Durchlauf, welcher aktiv war. Sonst vergleichen Sie Äpfel mit Birnen und wundern sich über den Widerspruch.

Häufigkeiten statt Momentaufnahmen

Das Ergebnis einer sauberen Messung ist keine Sammlung von Screenshots, sondern eine Tabelle mit Anteilen. Für jede Frage und jede Plattform notieren Sie, in wie vielen von N Durchläufen Sie genannt, zitiert oder empfohlen wurden.

So wird Sichtbarkeit zu einer Zahl, die sich vergleichen lässt: über die Zeit, zwischen Plattformen, gegen den Wettbewerber. Verbessern Sie eine Quelle und messen erneut, sehen Sie, ob der Anteil steigt. Ein einzelner guter Treffer im April und ein einzelner schlechter im August sagen nichts. Der Verlauf der Häufigkeit sagt viel. Mehr zu diesem Aufbau steht auf unserer Seite zur KI-Sichtbarkeit.

Was die Methode nicht kann

Ehrlichkeit gehört zur Methode. Eine Messung liefert einen Ist-Zustand mit Streuung, keine Prognose und keine Garantie.

• Sie kann keine Platzierung zusichern. Modelle und Quellen ändern sich, jede Zahl ist eine Momentaufnahme.
• Sie erfasst nur, was Sie abfragen. Eine Frage, die kein Kunde stellt, misst nichts Nützliches, deshalb steht und fällt alles mit der Auswahl der Batterie.
• Sie bildet ein Sample ab, nicht die Grundgesamtheit aller möglichen Gespräche. Mehr Durchläufe verkleinern die Unsicherheit, sie verschwindet nie ganz.

Diese Grenzen sind kein Makel, sondern die Bedingung dafür, dass die Zahlen etwas wert sind. Wer sie verschweigt, verkauft Sicherheit, die es nicht gibt.

Wenn Sie wissen wollen, wie oft die großen KI-Systeme heute schon Sie statt des Wettbewerbers nennen, ist ein Pilotprojekt der schnellste Weg zu echten Zahlen. Wie sich Messung mit lokaler, datensouveräner Verarbeitung verbinden lässt, zeigen wir unter lokale KI. Über die Kontaktseite schauen wir uns Ihren Fall an.