Alcuni proprietari di siti stanno scegliendo di impedire ai crawler basati sull'intelligenza artificiale, come ChatGPT e Bard, di eseguire la scansione dei propri siti, al fine di impedire che apprendano dai contenuti del sito o li utilizzino. È possibile bloccare questi user-agent basati sull'intelligenza artificiale in modo simile a come si bloccano i crawler di Google, sostituendo il file robots.txt predefinito con un nuovo file che specifichi regoledi disallowper specifici user-agent basati sull'intelligenza artificiale.
Avvertimento
La piattaforma Duda non verifica l'integrità dei file personalizzati. Ad esempio, se viene caricato un file danneggiato, questo verrà comunque reso disponibile.
Per bloccare sia ChatGPT che i crawler di Google-Extended:
-
Crea un nuovo file robots.txt. Ti consigliamo di seguirele istruzioni di Googlesu come creare un file robots.txt.
-
Aggiungi il seguente codice al nuovo file robots.txt. Tieni presente che i crawler elaborano il file robots.txt dall'alto verso il basso, pertanto sconsigliamo di inserire la direttiva con il carattere jolly all'inizio del file.
-
# Sitemap is also available on /sitemap.xmlSitemap: http://www.example.com/sitemap.xmlUser-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /User-agent: *
-
-
(Facoltativo) Se devi aggiungere altri gruppi, segui lo stesso formato:
-
User-agent: ????Disallow: /
-
-
Sostituisci il file robots.txt predefinito con il nuovo file. Per sapere come fare, consultala sezioneFile di configurazione del sito. È importante notare che, per sostituire il file predefinito, l'URL di origine deve corrispondere esattamente al nome del file.