Einige Webseitenbesitzer entscheiden sich dafür, KI-Crawler wie ChatGPT und Bard daran zu hindern, ihre Website zu crawlen, um zu verhindern, dass sie von ihren Webseiteninhalten lernen oder diese nutzen. Sie können diese KI-Benutzeragenten auf ähnliche Weise blockieren, wie Sie Google-Crawler blockieren würden, indem Sie die Standarddatei robots.txt durch eine neue Datei ersetzen, diedisallowRegeln für bestimmte KI-Benutzeragenten.
Warnung
DasDudaDie Plattform validiert keine benutzerdefinierten Dateien. Wenn beispielsweise eine beschädigte Datei hochgeladen wird, wird sie trotzdem bereitgestellt.
Um sowohl ChatGPT- als auch Google-Extended-Crawler zu blockieren:
-
Erstellen Sie eine neue Datei robots.txt. Wir empfehlen FolgendesAnweisungen von Googlezum Erstellen einer Datei robots.txt.
-
Fügen Sie der neuen Datei robots.txt den folgenden Code hinzu. Beachten Sie, dass Crawler robots.txt von oben nach unten verarbeiten. Wir empfehlen daher nicht, die Platzhalterdirektive am Anfang hinzuzufügen
-
# Sitemap is also available on /sitemap.xmlSitemap: http://www.example.com/sitemap.xmlUser-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /User-agent: *
-
-
(Fakultativ) Wenn Sie weitere Gruppen hinzufügen müssen, verwenden Sie dasselbe Format wie:
-
User-agent: ????Disallow: /
-
-
Ersetzen Sie die Standarddatei robots.txt durch die neue Datei. Wie das geht, erfahren Sie unterSite-Konfigurationsdateien. Es ist wichtig zu beachten, dass die Quell-URL genau mit dem Dateinamen übereinstimmen muss, um die Standarddatei zu ersetzen.