25.02.2024 10:09 Uhr, Quelle: Heise

robots.txt – 30 Jahre Hausregeln für Websites

Der Robots Exclusion Standard regelt, wer automatisiert Website-Inhalte abgrasen darf – und ist in Zeiten von ChatGPT so aktuell wie lange nicht mehr.

Weiterlesen bei Heise