Notebookcheck
, , , , , ,
zu verknüpfen.
, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,
 

Google ändert Regeln für die Robots.txt und veröffentlicht eigenen Parser

Google verändert den alten Robots.txt-Standard
Google verändert den alten Robots.txt-Standard
Google hat bekannt gegeben, dass die gleichnamige Suchmaschine ab dem ersten September einige Anweisungen in der Robots.txt von Webseiten nicht mehr unterstützen wird. Diese Dateien werden genutzt, um Webcrawlern von Suchmaschinen zu vermitteln, welche Teile der Webseiten relevant sind.
Cornelius Wolff,
Jobs
Wir erweitern unser Test-Team und suchen Notebook-Enthusiasten für unsere Redaktion. Details

Das Robots-Exklusion-Protokoll (REP) ist seit über 25 Jahren der de-facto-Standard für Webseitenbetreiber, mit dem man innerhalb der Robots.txt Webcrawlern von Suchmaschinen darauf hinweisen kann, welche Teile der Website für die Suchmaschine relevant ist. Jetzt hat der amerikanische Google-Konzern angekündigt, dass die gleichnamige Suchmaschine künftig einige der Anweisungen innerhalb des Protokolls nicht mehr unterstützen wird. So werden künftig die Befehle Noindex, Nofollow und Crawl-Delay vom Google-Crawl-Bot ignoriert, da diese Google zufolge von Website-Betreibern anscheinend sehr selten genutzt werden.

Parallel dazu will das Unternehmen das REP zu einem wirklichen Open-Source-Standard für das Internet machen, da es diesen Status bisher nicht hatte. Dies liegt daran, dass das REP vielen Entwicklern nicht eindeutig genug war, da sich in den letzten Jahren auch noch verschiedene Abwandlungen entwickelt haben. Um die Implementierung des neuen Standards für Entwickler zu vereinfachen, hat Google auch gleich seinen eigenen Parser auf GitHub als C++-Library veröffentlicht.

Mit diesem Schritt könnte es Google vielen Entwicklern leichter gemacht haben, ihre Robots.txt-Dateien zu erstellen, ohne dass ungewollte Randerscheinungen auftreten.

, , , , , ,
zu verknüpfen.
, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,
 

Quelle(n)

static version load dynamic
Loading Comments
Diesen Artikel kommentieren / Antworten
, , , , , ,
zu verknüpfen.
, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,
 
Cornelius Wolff
Cornelius Wolff - Senior Tech Writer - 1473 Artikel auf Notebookcheck veröffentlicht seit 2016
Nachdem ich mich schon von klein auf (teilweise sehr zum Leidwesen meiner Eltern) für das Innere von Desktop-PCs und Notebooks interessiert habe, begann ich im Jahr 2016 als freier Mitarbeiter bei Notebookcheck für das Newssegment zu schreiben. Seitdem bin ich mit dabei und studiere parallel dazu derzeit Wirtschaftsinformatik an der Universität Osnabrück.
Teilen Sie diesen Artikel um uns zu unterstützen. Jeder Link hilft!
> Notebook Test, Laptop Test und News > News > Newsarchiv > News 2019-07 > Google ändert Regeln für die Robots.txt und veröffentlicht eigenen Parser
Autor: Cornelius Wolff,  4.07.2019 (Update:  4.07.2019)