Alcuni proprietari di siti scelgono di impedire ai crawler di intelligenza artificiale, come ChatGPT e Bard, di eseguire la scansione del loro sito per evitare che apprenda o utilizzi i contenuti del loro sito web. Può bloccare questi user-agent AI in modo simile a come bloccherebbe i crawler di Google; sostituendo il file robots.txt predefinito con un nuovo file che specifica le regole di non autorizzazione per specifici user-agent AI.
Attenzione
La piattaforma Duda non effettua la convalida di file personalizzati. Ad esempio, se si carica un file corrotto, sarà comunque servito.
Per bloccare entrambi i crawler ChatGPT e Google Extended:
-
Creare un nuovo file robots.txt. Ti consigliamo di seguire le istruzioni di Google su come creare un file robots.txt.
-
Aggiungi il seguente codice al nuovo file robots.txt. Si noti che i crawler elaborano robots.txt dall'alto verso il basso, quindi sconsigliamo di aggiungere la direttiva jolly all'inizio.
-
# La mappa del sito è disponibile anche su /sitemap.xmlMappa del sito: http://www.example.com/sitemap.xmlUser-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /Agente utente: *
-
-
(Facoltativo) Se devi aggiungere altri gruppi, segui lo stesso formato di:
-
User-agent: ????Disallow: /
-
-
Sostituire il file robots.txt predefinito con il nuovo file. Per ulteriori informazioni, vedere File di configurazione del sito. È importante notare che per sostituire il file predefinito, l'URL di origine deve corrispondere esattamente al nome del file.