Alguns proprietários de sites estão optando por impedir que rastreadores de IA, como ChatGPT e Bard, rastreiem seus sites para evitar que eles aprendam ou usem o conteúdo do site. Você pode bloquear esses agentes de usuário de IA da mesma forma que bloquearia os rastreadores do Google; substituindo o arquivo robots.txt padrão por um novo arquivo que especifica regras de não permissão para agentes de usuário de IA específicos.
Atenção
A plataforma Duda não valida arquivos personalizados. Se um arquivo corrompido for carregado, por exemplo, ele ainda será usado.
Para bloquear os rastreadores do ChatGPT e Google-Extended:
-
Crie um novo arquivo robots.txt. Recomendamos seguir as instruções do Google sobre como criar um arquivo robots.txt.
-
Adicione o seguinte código ao novo arquivo robots.txt. Observe que os rastreadores processam o robots.txt de cima para baixo, portanto, não recomendamos adicionar a diretiva curinga na parte superior.
-
# Sitemap is also available on /sitemap.xmlSitemap: http://www.example.com/sitemap.xmlUser-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /Agente de usuário: *
-
-
(Opcional) Se você precisar adicionar outros grupos, siga o mesmo formato de:
-
User-agent: ????Disallow: /
-
-
Substitua o arquivo robots.txt padrão pelo novo arquivo. Para saber como, consulte Arquivos de configuração do site. É importante observar que, para substituir o arquivo padrão, o URL de origem deve corresponder exatamente ao nome do arquivo.