25.04.2017 14:10 Uhr, Quelle: Heise

Archivierung des Internets: Internet Archive ignoriert künftig robots.txt

Mit der Wayback Machine bietet das Internet Archive ein Archiv des Internets an. Das zeigt, wie Internetseiten früher aussahen. Immer öfter wird das aber durch Einträge in einer robotx.txt unterbunden. Deswegen steuert das Archiv nun gegen.

Weiterlesen bei Heise