02.07.2019 08:54 Uhr, Quelle: Heise

Webcrawler-Standardisierung: Google legt seinen Parser für robots.txt offen

Die Open-Source-Legung des Parsers ist Teil von Googles Bemühungen, das Robots Exclusion Protocol offiziell zu standardisieren.

Weiterlesen bei Heise