Certains propriétaires de sites choisissent d'empêcher les robots d'IA, tels que ChatGPT et Bard, d'explorer leur site afin d'éviter qu'ils n'en tirent des enseignements ou n'en utilisent le contenu. Vous pouvez bloquer ces agents utilisateurs d'IA de la même manière que vous bloqueriez les robots d'indexation de Google, en remplaçant le fichier robots.txt par défaut par un nouveau fichier qui spécifie des règles d'interdiction pour des agents utilisateurs d'IA spécifiques.
Attention
La plateforme Duda ne valide pas les fichiers personnalisés. Par exemple, si un fichier corrompu est téléchargé, il sera malgré tout présent.
Pour bloquer à la fois les robots d'indexation ChatGPT et Google-Extended :
-
Créez un nouveau fichier robots.txt. Nous vous recommandons de suivre les instructions de Google concernant la création d'un fichier robots.txt.
-
Ajoutez le code suivant au nouveau fichier robots.txt. Veuillez noter que les robots d'indexation traitent robots.txt de haut en bas, il n'est donc pas conseillé d'ajouter la directive de métacaractères en haut.
-
# Le plan du site est également disponible sur /sitemap.xmlPlan du site : http://www.example.com/sitemap.xmlAgent utilisateur : GPTBotPas autorisé : /Agent utilisateur : Google-ExtendedPas autorisé : /User-agent : *
-
-
(Facultatif) Si vous devez ajouter d'autres groupes, suivez le même format :
-
Agent utilisateur : ????Pas autorisé : /
-
-
Remplacez le fichier robots.txt par défaut par le nouveau fichier. Pour en savoir plus, reportez-vous à la section Fichiers de configuration du site. Il est important de noter que pour remplacer le fichier par défaut, l'URL de la source doit correspondre exactement au nom du fichier.