Alguns proprietários de sites estão optando por impedir que rastreadores de IA, como ChatGPT e Bard, rastreiem seus sites para evitar que eles aprendam ou usem o conteúdo do site. Você pode bloquear esses agentes de usuário de IA da mesma forma que bloquearia os rastreadores do Google; substituindo o arquivo robots.txt padrão por um novo arquivodisallowregras para agentes de usuário de IA específicos.
Atenção
ODudaa plataforma não valida arquivos personalizados. Por exemplo, se um arquivo corrompido for carregado, ele ainda será exibido.
Para bloquear os rastreadores do ChatGPT e do Google-Extended:
-
Crie um novo arquivo robots.txt. Recomendamos seguirInstruções do Googlesobre como criar um arquivo robots.txt.
-
Adicione o código a seguir ao novo arquivo robots.txt. Observe que os rastreadores processam o robots.txt de cima para baixo, portanto, não recomendamos adicionar a diretiva curinga na
-
# Sitemap is also available on /sitemap.xmlSitemap: http://www.example.com/sitemap.xmlUser-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /User-agent: *
-
-
(Opcional) Se você precisar adicionar outros grupos, siga o mesmo formato de:
-
User-agent: ????Disallow: /
-
-
Substitua o arquivo robots.txt padrão pelo novo arquivo. Para saber como, consulteArquivos de configuração do site. É importante observar que, para substituir o arquivo padrão, o URL de origem deve corresponder exatamente ao nome do arquivo.