Certains propriétaires de sites choisissent d'empêcher les robots d'indexation basés sur l'IA, tels que ChatGPT et Bard, d'explorer leur site afin d'éviter que ces derniers n'apprennent à partir du contenu de leur site ou ne l'utilisent. Vous pouvez bloquer ces agents utilisateurs basés sur l'IA de la même manière que vous bloqueriez les robots d'indexation de Google, en remplaçant le fichier robots.txt par défaut par un nouveau fichier qui définit des règlesdisallowpour des agents utilisateurs basés sur l'IA spécifiques.
Avertissement
La plateformeDudane vérifie pas les fichiers personnalisés. Par exemple, si un fichier corrompu est mis en ligne, il sera tout de même diffusé.
Pour bloquer à la fois les robots d'indexation de ChatGPT et ceux de Google-Extended :
-
Créez un nouveau fichier robots.txt. Nous vous recommandons de suivreles instructions de Googleconcernant la création d'un fichier robots.txt.
-
Ajoutez le code suivant au nouveau fichier robots.txt. Notez que les robots d'indexation traitent le fichier robots.txt de haut en bas ; nous vous déconseillons donc d'ajouter la directive * en début de fichier.
-
# Sitemap is also available on /sitemap.xmlSitemap: http://www.example.com/sitemap.xmlUser-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /User-agent: *
-
-
(Facultatif) Si vous devez ajouter d'autres groupes, respectez le même format :
-
User-agent: ????Disallow: /
-
-
Remplacez le fichier robots.txt par défaut par le nouveau fichier. Pour savoir comment procéder, consultez la sectionFichiers de configuration du site . Il est important de noter que, pour remplacer le fichier par défaut, l'URL source doit correspondre exactement au nom du fichier.