Methodik

Welche KI-Systeme, wie viele Abfragen

Jeder Branchenreport stellt 10 Fragetypen, wie sie echte Kunden formulieren würden (z. B. „Bester Installateur in Wien?", „Wer ist der beste Installateur in Wien?") an bis zu drei KI-Systeme — ChatGPT, Google Gemini und Claude, jeweils mit Live-Websuche. Das ergibt bis zu 30 auswertbare Antworten pro Report. Ist ein System zum Erhebungszeitpunkt nicht verfügbar, sinkt die Zahl entsprechend — das steht dann explizit in der „Methode"-Zeile des jeweiligen Reports.

Wie die Stichprobe gezogen wird

Die geprüften Betriebe kommen aus einem öffentlichen Branchenverzeichnis (herold.at), nicht aus einer KI-Abfrage — sonst würden wir nur Betriebe finden, die die KI ohnehin schon kennt, und der Report wäre in sich zirkulär. Doppelte Einträge (derselbe Betrieb unter mehreren Kategorien gelistet) werden entfernt, ebenso Ketten-Filialen, die unter unterschiedlichem Namen, aber mit derselben Webadresse gelistet sind — sonst würde eine einzelne Kette mit mehreren Standorten die Stichprobe verzerren. Bei manchen Landeshauptstädten trennt das Verzeichnis „Stadt" von „Land/Umgebung" — wir ziehen dann gezielt aus der Stadt-Kategorie.

Offene Grenze: Ob ein gelisteter Betrieb tatsächlich zur gesuchten Branche gehört (z. B. eine Bäckerei, die in einer Restaurant-Suche mitgelistet wird), lässt sich aus den Verzeichnisdaten nicht automatisch prüfen — das Verzeichnis liefert dafür kein maschinenlesbares Merkmal. Auffällige Fehltreffer werden vor Veröffentlichung manuell geprüft, eine Garantie gegen jeden Einzelfall ist das nicht.

Stichtag

Jeder Report zeigt seinen Erhebungszeitpunkt direkt am Anfang („Stand: …"). Das ist kein Formalismus: KI-Antworten verändern sich mit der Zeit, ein Report ohne Datum wäre nicht überprüfbar. Bei wiederholten Läufen zur selben Branche/Stadt ist die neueste Zahl die gültige — ältere Läufe bleiben als Zeitreihe abrufbar.

Warum eine Momentaufnahme nicht dasselbe ist wie das, was ein Kunde sieht

Was ein realer Mensch in seinem eigenen ChatGPT-Fenster zu lesen bekommt, hängt von mindestens fünf Faktoren ab, die unsere API-Abfragen bewusst nicht nachbilden:

• Standort. KI-Websuche berücksichtigt die ungefähre Position des Nutzers. Unsere Abfragen laufen über die API, nicht aus der jeweiligen Stadt — wir mildern das, indem die Stadt explizit in der Frage steht, messen aber nicht dieselbe Signalkombination wie ein Nutzer vor Ort.
• Personalisierung und Gedächtnis. Manche KI-Systeme merken sich frühere Gespräche. Unsere Abfragen starten jedes Mal ohne Vorgeschichte — methodisch sauberer, aber nicht identisch mit einem wiederkehrenden Nutzer.
• Kontotyp und Modell. Gratis- und Bezahlnutzer bekommen teils unterschiedliche Modelle mit unterschiedlichem Suchverhalten.
• Zeitpunkt. Antworten schwanken von Lauf zu Lauf und verändern sich mit dem fortlaufend aktualisierten Suchindex.
• Sprache. Bereits gemessen: bei englischsprachigen Fragen (z. B. für Touristen) empfiehlt dieselbe KI teils andere Betriebe als bei deutschsprachigen.

Deshalb sprechen wir bewusst von einer KI-Suchmaschinen-Analyse, nicht davon, exakt abzubilden, was ein bestimmter Kunde sieht. Das ist zugleich das stärkste Argument für wiederholte statt einmaliger Messung: Wenn eine Einzelabfrage von Standort, Verlauf, Konto und Tag abhängt, ist eine Momentaufnahme per Definition unvollständig — genau deshalb fragen wir mit 10 Formulierungen über bis zu drei Systeme statt einmal, und genau deshalb ist laufendes Monitoring keine Zusatzoption, sondern die methodisch richtige Fortsetzung.