Ich habe gemessen, ob ChatGPT meine Agentur kennt

Warum ich das gemessen habe, statt es zu schätzen

Über Google weiß ich seit Jahren genau, wo wir stehen. Rankings, Klicks, Impressionen, alles nachlesbar. Über ChatGPT, Claude und Gemini wusste ich nichts, obwohl immer mehr Anfragen mit „ich habe mal KI gefragt“ anfangen.

Das ist ein blinder Fleck mit Ansage. Wenn jemand ein Sprachmodell fragt, wer in seiner Region eine bestimmte Leistung anbietet, bekommt er drei bis fünf Namen. Steht man nicht dabei, existiert man für diese Person nicht, und man merkt es nicht einmal, weil kein Bericht dazu eintrifft.

Wir bauen gerade ein Modul, das genau das misst. Bevor wir es Kunden anbieten, wollte ich wissen, was es über uns selbst sagt.

Der Aufbau

Ich habe 15 Fragen formuliert, die ein echter Interessent stellen würde. Keine Fragen nach unserem Firmennamen, das wäre sinnlos, sondern Fragen nach der Leistung. Drei Blöcke:

• Acht Fragen zu KI im Unternehmen, dem Bereich, in den ich gerade hineinwachse
• Vier Fragen zum Bestandsgeschäft: Webdesign, SEO, Google Ads in meiner Region
• Drei Fragen zu gehackten WordPress-Seiten, wo ich seit Jahren Kunden habe und aktiv Werbung schalte

Jede Frage lief gegen ChatGPT, Claude und Gemini, jeweils dreimal. Dreimal deshalb, weil diese Modelle nicht deterministisch antworten: Eine einzelne Nennung kann Zufall sein, drei von drei nicht. Macht 15 mal 3 mal 3, also 135 Antworten.

Ausgewertet habe ich zwei Dinge. Erstens, ob unser Unternehmen überhaupt vorkommt. Zweitens, ob die Antwort unsere Website als Quelle verlinkt, denn das ist der Unterschied zwischen erwähnt werden und zitiert werden.

Das Ergebnis

Drei der vier Treffer stammen aus einer einzigen Frage, nämlich der nach einer guten SEO-Agentur im Rhein-Main-Gebiet. Und alle drei kamen von ChatGPT. Claude und Gemini nannten uns bei derselben Frage kein einziges Mal.

Der vierte Treffer kam von Claude, bei der Frage, was eine Bereinigung nach einem Hackerangriff kostet. Dort wurde sogar unsere Seite verlinkt.

Drei Dinge, die ich nicht erwartet hatte

Erstens: Bezahlte Werbung erzeugt keine Sichtbarkeit in Sprachmodellen. Wir betreiben für den Bereich gehackte WordPress-Seiten eine laufende Google-Ads-Kampagne und vier eigene Seiten dazu. In den Modellen kommen wir auf 1 von 27. Die beiden entscheidenden Fragen, wer eine gehackte Seite bereinigen kann und wer Schadsoftware entfernt, ergaben null. Wer glaubt, mit Anzeigenbudget auch in ChatGPT vorzukommen, irrt.

Zweitens: Der Standort hilft nicht automatisch. Bei der Frage nach einer empfehlenswerten Webdesign-Agentur in Mainz stehen wir bei null, obwohl unser Büro dort steht und wir eine eigene Seite zu genau diesem Begriff betreiben.

Drittens: Die Modelle sind sich uneinig. Bei der einen Frage, bei der wir vorkommen, nennt ChatGPT uns zuverlässig und die beiden anderen nie. Von „in KI sichtbar sein“ zu sprechen ist also schon falsch gedacht. Es sind drei getrennte Systeme mit getrennten Quellen.

Warum bei KI null steht, und warum mich das nicht überrascht

Zum Zeitpunkt der Messung stand auf unserer Website kein einziger Satz zum Thema KI im Unternehmen. Kein Beitrag, keine Leistungsseite, nichts. Ein Modell kann nur nennen, wofür es Belege findet.

Genau deshalb ist diese Null wertvoll. Sie ist der Ausgangspunkt. Alles, was ich ab jetzt veröffentliche, lässt sich gegen sie messen, und zwar mit denselben 15 Fragen, denselben Modellen, derselben Methode.

Was ich daraus mache

Ich schreibe. Nicht möglichst viel, sondern zu den Fragen, die ich gemessen habe, und mit Zahlen, die sonst niemand veröffentlicht. Dieser Beitrag ist der erste davon.

Parallel haben wir die technische Seite unserer Website nachgezogen, weil dieselbe Prüfung dort Lücken gefunden hat. Und in einigen Monaten laufen dieselben 15 Fragen erneut.

Ob das funktioniert, weiß ich nicht. Das ist der ehrliche Stand. Wir kennen jetzt aber unseren Ausgangswert, und das ist mehr, als die meisten über sich sagen können.

Häufige Fragen