Einige Seiteninhaber blockieren in der Regel KI-Crawler wie ChatGPT und Bard beim Crawlen ihrer Website, um zu verhindern, dass diese aus den Inhalten ihrer Website lernen oder diese verwenden. Sie können diese KI-Benutzeragenten auf ähnliche Weise blockieren, wie Sie Google-Crawler blockieren würden, indem Sie die Standarddatei „robots.txt“ durch eine neue Datei ersetzen, die disallow für bestimmte KI-Benutzeragenten angibt.
Warnung
Die Duda-Plattform validiert keine benutzerdefinierten Dateien. Wenn beispielsweise eine beschädigte Datei hochgeladen wird, wird sie weiterhin bereitgestellt.
So blockieren Sie sowohl ChatGPT- als auch Google-Extended-Crawler:
-
Erstellen Sie eine neue robots.txt Datei. Wir empfehlen, die Anweisungen von Google zum Erstellen einer robots.txt Datei zu befolgen.
-
Fügen Sie der neuen robots.txt Datei den folgenden Code hinzu. Beachten Sie, dass Crawler robots.txt von oben nach unten verarbeiten, daher wird nicht empfohlen, die Platzhalterdirektive oben hinzuzufügen.
-
# Sitemap ist auch auf /sitemap.xml verfügbarSitemap: http://www.example.com/sitemap.xmlBenutzeragent: GPTBotVerweigern:/User-agent: Google-ExtendedVerweigern:/User-Agent: *
-
-
(Fakultativ) Wenn Sie weitere Gruppen hinzufügen müssen, verwenden Sie das gleiche Format:
-
User-Agent: ????Verweigern:/
-
-
Ersetzen Sie die Standarddatei robots.txt Datei durch die neue Datei. Weitere Informationen finden Sie unter Website-Konfigurationsdateien. Es ist wichtig zu beachten, dass in Bestellung, um die Standarddatei zu ersetzen, die Quell-URL genau mit dem Dateinamen übereinstimmen muss.