Notebookcheck

Google ändert Regeln für die Robots.txt und veröffentlicht eigenen Parser

Google verändert den alten Robots.txt-Standard
Google verändert den alten Robots.txt-Standard
Google hat bekannt gegeben, dass die gleichnamige Suchmaschine ab dem ersten September einige Anweisungen in der Robots.txt von Webseiten nicht mehr unterstützen wird. Diese Dateien werden genutzt, um Webcrawlern von Suchmaschinen zu vermitteln, welche Teile der Webseiten relevant sind.

Das Robots-Exklusion-Protokoll (REP) ist seit über 25 Jahren der de-facto-Standard für Webseitenbetreiber, mit dem man innerhalb der Robots.txt Webcrawlern von Suchmaschinen darauf hinweisen kann, welche Teile der Website für die Suchmaschine relevant ist. Jetzt hat der amerikanische Google-Konzern angekündigt, dass die gleichnamige Suchmaschine künftig einige der Anweisungen innerhalb des Protokolls nicht mehr unterstützen wird. So werden künftig die Befehle Noindex, Nofollow und Crawl-Delay vom Google-Crawl-Bot ignoriert, da diese Google zufolge von Website-Betreibern anscheinend sehr selten genutzt werden.

Parallel dazu will das Unternehmen das REP zu einem wirklichen Open-Source-Standard für das Internet machen, da es diesen Status bisher nicht hatte. Dies liegt daran, dass das REP vielen Entwicklern nicht eindeutig genug war, da sich in den letzten Jahren auch noch verschiedene Abwandlungen entwickelt haben. Um die Implementierung des neuen Standards für Entwickler zu vereinfachen, hat Google auch gleich seinen eigenen Parser auf GitHub als C++-Library veröffentlicht.

Mit diesem Schritt könnte es Google vielen Entwicklern leichter gemacht haben, ihre Robots.txt-Dateien zu erstellen, ohne dass ungewollte Randerscheinungen auftreten.

Quelle(n)

static version load dynamic
Loading Comments
Diesen Artikel kommentieren / Antworten
Teilen Sie diesen Artikel um uns zu unterstützen. Jeder Link hilft!
> Notebook Test, Laptop Test und News > News > Newsarchiv > News 2019-07 > Google ändert Regeln für die Robots.txt und veröffentlicht eigenen Parser
Autor: Cornelius Wolff,  4.07.2019 (Update:  4.07.2019)
Cornelius Wolff
Cornelius Wolff - News Editor
Nachdem ich mit 8 meinen ersten PC geschenkt bekommen habe (damals noch mit einem AMD Athlon Single-Kern-Prozessor) und ich dieses Gerät auch gleich munter auseinander gebaut habe, hat mich die Technik nie wieder losgelassen. So kam es, dass ich schon mit jungen Jahren immer weiter in die Welt der Computer-Technik eingetaucht bin. Als ich dann 2015 zum ersten Mal auf die Seite Notebookcheck gestoßen bin, war ich begeistert von dem Umfang den diese Seite bietet. Nun arbeite ich seit meiner erfolgreichen Bewerbung im Jahr 2016 als freier Mitarbeiter bei Notebookcheck als News- und Hardware-Redakteur.