KI-Crawler erreichen teils höhere Abdeckung als der Google-Bot

Jahrzehntelang war Google die unangefochtene Nummer 1 in der Beschaffung von Informationen aus dem Internet. Damit ist der Google-Bot das wohl prominenteste Beispiel der Website-Crawler. Diese automatisierten Programme durchsuchen das Internet und erfassen die gefundenen Inhalte, so können Suchmaschinen Websites auffindbar machen.

Doch die Google-Suche bekommt Konkurrenz, nicht nur aus dem eigenen Hause. Auch KI-Systeme benötigen Daten aus dem Internet, weshalb KI-Unternehmen wie OpenAI mit eigenen Bots das Internet nach Informationen durchsuchen.

Ende August 2025 hat der Webhosting-Anbieter Hostinger nun eine Untersuchung durchgeführt, in der Zugriffe derartiger Programme auf 5 Millionen bei diesem Unternehmen gehostete Websites ausgewertet wurden. Besonders auffällig sei, dass beispielsweise der GPT-Bot von OpenAI 4,4 der 5 Millionen Websites erreichte und damit eine höhere Abdeckung erzielte als der Google-Bot, welcher auf "nur" 3,9 Millionen Websites zugriff. Auch weniger bekannte Bots wie der SEO-Crawler von Ahrefs, der Claude-Bot von Anthropic und die Programme von Meta, TikTok, Bing und Apple seien sehr aktiv, sie verursachten zusammen rund 1,4 Milliarden tägliche Anfragen an die 5 Millionen Websites.

Dass manche Bots eine geringere prozentuale Abdeckung erreichen als andere, bedeutet in diesem Zusammenhang jedoch nicht, dass diese entsprechende Teile des Internets ignorieren. Vielmehr können die Programme ihre Ziele rotieren und so über einen längeren Zeitraum (trotzdem jedoch innerhalb weniger Wochen) ein nahezu vollständiges Abbild des Internets erstellen.

Auch geht aus der Untersuchung hervor, dass mit rund 80 Prozent ein Großteil der Anfragen von US-Technologieunternehmen stammt, rund zehn Prozent aus China, andere Länder fallen kaum ins Gewicht. Damit ist die Indexierung des Internets primär von Anbietern aus den USA und dort von wenigen großen Technologieunternehmen geprägt. So hätten einige wenige Plattformen großen Einfluss darauf, welche Inhalte sichtbar sind und welche Antworten KI-Systeme generieren.