Fünf Fragen an ein KI-Sichtbarkeits-Tool, bevor du seiner Punktzahl glaubst

Warum zwei Tools zwei verschiedene Antworten geben

Die Werte weichen ab, weil die zugrunde liegende Frage schwerer ist, als sie aussieht. „Bist du in der KI-Suche sichtbar“ hat keinen einzelnen messbaren Wert, wie „auf welcher Position ranke ich“ ihn hat. Es hängt davon ab, welche Prompts gestellt werden, welche Maschine antwortet, ob diese Maschine bei diesem konkreten Aufruf im Web gesucht hat, und wann gefragt wurde.

Ändere einen dieser Faktoren und die Antwort ändert sich zu Recht. Ein Wert ist also nur zusammen mit den Entscheidungen aussagekräftig, die ihn erzeugt haben — und die meisten Tools zeigen den Wert ohne die Entscheidungen.

Nichts vom Folgenden verlangt, diesen Tools zu misstrauen. Es verlangt zu wissen, welche Frage eine bestimmte Zahl beantwortet, denn das Falsche zu kaufen ist teuer und der Unterschied ist auf der Preisseite nicht zu sehen.

Frage 1: führt es wirklich eine Suche aus oder fragt es nur das Modell?

Das ist die Frage, die ganze Datensätze entwertet — und die von außen am schwersten zu erkennen ist.

Fragt ein Tool ein Modell über eine Entwickler-API mit abgeschalteter Websuche, antwortet das Modell aus seinen Trainingsdaten. Es liefert trotzdem selbstbewusst Markennamen und Quellenangaben. Diese Angaben sind erinnert oder rekonstruiert, nicht abgerufen — sie können also auf Seiten zeigen, die es nicht mehr gibt oder nie gab.

Promptwatch hat einen Vergleich veröffentlicht, der diesen Fehlermodus gut illustriert, dessen Rahmung aber eine Korrektur braucht. Sie schickten kommerzielle Prompts am selben Tag durch die ChatGPT-Oberfläche und durch die API, sammelten 562 Quellenangaben und fanden nur 25,6 % Überschneidung. Von den API-Quellen zeigten 87 % auf nackte Startseiten statt auf konkrete Seiten, und eine empfahl ein Unternehmen, das nicht existiert.

Die Korrektur ist wichtig: bei ihrem API-Durchlauf war die Websuche abgeschaltet. Die Studie zeigt also, dass ein Modell, das ohne Abruf antwortet, unbrauchbare Sichtbarkeitsdaten produziert — nicht, dass APIs grundsätzlich unzuverlässig sind. Ein API-Aufruf mit aktivierter Suche ist etwas völlig anderes. Promptwatch verkauft oberflächenbasiertes Tracking, was man bei der Lektüre ihrer Rahmung wissen sollte, und ihr eigenes Glossar formuliert deutlich vorsichtiger als die Schlagzeile.

Was du einen Anbieter fragen solltest: war der Abruf bei jedem Aufruf aktiv, und kannst du mir eine Antwort zeigen, bei der das Modell gesucht hat? Wer abgerufene nicht von erinnerten Quellen unterscheiden kann, liefert mit Quellenzahlen keine Messungen.

Frage 2: wie oft hat es gefragt?

Stell einer KI-Maschine fünfmal dieselbe Frage und du bekommst fünf verschiedene Markenlisten und fünf verschiedene Quellensätze. Das ist kein Mangel, den man wegkonstruieren kann; so funktionieren diese Systeme.

Die Folge ist Arithmetik. Ein Sichtbarkeitswert, der auf einer Abfrage pro Prompt pro Woche beruht, ist eine einzelne Stichprobe aus einer Verteilung. Er schwankt zwischen Durchläufen aus Gründen, die nichts mit deiner Website zu tun haben — und du wirst versucht sein, diese Schwankungen mit deinen Änderungen zu erklären.

Stichprobenumfang ist der einzige Hebel, der das wirklich behebt, und genau das veröffentlicht fast niemand. Von den Tools, die wir untersucht haben, nennt allein achtung.app sein Sampling-Design: zwei Durchläufe pro Abfrage, pro Maschine, pro Tag, gemittelt, im Einstiegstarif, und drei Durchläufe pro Keyword im Wochentarif — Frequenz gegen Wiederholung getauscht. Zwei Durchläufe sind statistisch dünn. Es ist auch mehr, als wir über jeden Wettbewerber herausfinden konnten, von denen mehrere deutlich mehr verlangen.

Die anderen veröffentlichen nur die Frequenz. llmmetrix nennt tägliche Prüfungen in den Bezahltarifen über bis zu sieben Modelle und wöchentliche im Gratistarif. citlyze nennt wöchentlich für AI Overviews und täglich für Antwortmaschinen. amicited beschreibt einen festen Tagesplan aus sauberen Sitzungen mit vollständig gespeicherten Antworten. Frequenz sagt dir, wie oft eine Münze geworfen wurde, nicht wie viele Würfe pro Messung.

Frage 3: kommst du zur Originalantwort?

Das ist der schnellste Weg, ein Tool zu beurteilen, und er braucht kein technisches Wissen. Nimm eine beliebige aggregierte Zahl — Erwähnungen, Share of Voice, Zahl der Quellenangaben — und versuch, zum Text zu kommen, den das Modell tatsächlich produziert hat.

Wenn du das kannst, kannst du die Zahl selbst überprüfen, die Fälle erkennen, in denen deine Marke abschätzig erwähnt wurde, und merken, wenn ein „Wettbewerber“ in deinem Report ein Unternehmen ist, das es nicht gibt. Wenn nicht, sollst du einer Zusammenfassung von Daten vertrauen, die du nicht einsehen darfst.

Originalantworten zu speichern kostet echtes Geld, deshalb macht es nicht jedes Tool. Es ist auch das eine Merkmal, das eine Messung von einer Behauptung trennt.

Frage 4: was gibt es zu, nicht messen zu können?

Jedes Tool dieser Kategorie hat Lücken, weil es für Teile der Oberfläche keinen automatisierten Messweg gibt. Google AI Mode, Werbung innerhalb von Apps und alles, was eine personalisierte Sitzung mit Login braucht, ist im großen Maßstab wirklich schwer oder unmöglich zu erfassen.

Schon das Vorhandensein eines Abschnitts zu Einschränkungen ist deshalb aussagekräftig. achtung.app veröffentlicht einen und leitet ihn mit dem Hinweis ein, die Liste sei absichtlich öffentlich, weil sie die ehrlichste Auskunft über den Stand des Produkts sei; danach folgen fehlende Umsatzzuordnung, unvollständige Halluzinationserkennung und Einschränkungen pro Maschine — darunter, dass Gemini pro Aufruf selbst entscheidet, ob es sucht, und dass sich das nicht erzwingen lässt.

Bei den drei kommerziellen Tools, die wir angesehen haben, fanden wir keine vergleichbare Offenlegung. Das belegt nicht, dass sie mehr messen; es belegt, dass sie weniger darüber sprechen. Wenn ein Anbieter für mehrere Hundert im Monat keine Einschränkungen veröffentlicht, ist die naheliegende Schlussfolgerung, dass sie nicht offengelegt sind — nicht, dass es keine gibt.

Frage 5: misst es Zugang oder misst es Erwähnungen?

Das sind zwei verschiedene Produkte, und der Unterschied entscheidet, welches du brauchst.

Zugangsprüfungen fragen, ob KI-Maschinen deine Inhalte erreichen und verarbeiten können: lässt robots.txt die Crawler herein, die über die Aufnahme in Antworten entscheiden, steht dein Text im HTML oder erst nach der Hydration, gibt es strukturierte Daten. Diese Prüfungen sind deterministisch. Dieselbe Seite zweimal geprüft ergibt dasselbe Ergebnis, und eine kostenlose Sofortprüfung ist eine vollständige Antwort, kein Anreißer.

Erwähnungs-Tracking fragt, ob Maschinen dich tatsächlich empfehlen, wenn Käufer fragen. Dafür müssen Prompts über Zeit wiederholt gegen mehrere Maschinen laufen, was pro Aufruf Geld kostet. Es kann nicht kostenlos und nicht sofort sein — und das ist der ehrliche Grund, warum diese Kategorie einen Bezahltarif hat.

Um zu unserer eigenen Position deutlich zu sein: die Tools auf dieser Seite sind die erste Art. Sie sind kostenlos, weil deterministisches HTML-Parsing keine Kosten pro Prüfung hat, und sie sagen dir nichts darüber, ob ChatGPT dich einem Wettbewerber vorzieht. Wenn das deine Frage ist, lautet die Antwort: irgendwo ein Bezahlabo — stell ihm vorher die fünf Fragen von oben.

Die richtige Reihenfolge

Zugang vor Erwähnungen. Blockiert robots.txt den OAI-SearchBot, wird dir kein Prompt-Tracking etwas Nützliches sagen, und das Abo wird pflichtbewusst melden, dass du unsichtbar bist — aus einem Grund, den eine einminütige kostenlose Prüfung gefunden hätte.

Behebe zuerst den Zugang, bestätige ihn, und entscheide dann, ob laufendes Erwähnungs-Tracking das Geld wert ist. Diese Reihenfolge kostet nichts und beseitigt die häufigste Ursache für null KI-Sichtbarkeit, bevor du anfängst, für deren Messung zu bezahlen.