Algunos propietarios de sitios optan por impedir que los rastreadores de IA, como ChatGPT y Bard, rastreen su sitio web para evitar que aprendan del contenido de su sitio web o lo utilicen. Puedes bloquear estos agentes de usuario basados en la IA del mismo modo que bloquearías los rastreadores de Google: sustituyendo el archivo robots.txt predeterminado por un archivo nuevodisallowreglas para agentes de usuario de IA específicos.
Aviso
ElDudala plataforma no valida los archivos personalizados. Por ejemplo, si se carga un archivo dañado, se seguirá publicando.
Para bloquear los rastreadores ChatGPT y Google-Extended:
-
Cree un nuevo archivo robots.txt. Recomendamos lo siguienteInstrucciones de Googlesobre cómo crear un archivo robots.txt.
-
Agregue el siguiente código al nuevo archivo robots.txt. Tenga en cuenta que los rastreadores procesan robots.txt de arriba a abajo, por lo que no recomendamos añadir la directiva comodín en la
-
# Sitemap is also available on /sitemap.xmlSitemap: http://www.example.com/sitemap.xmlUser-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /User-agent: *
-
-
(Opcional) Si necesita agregar otros grupos, siga el mismo formato de:
-
User-agent: ????Disallow: /
-
-
Sustituya el archivo robots.txt predeterminado por el nuevo archivo. Para obtener información sobre cómo hacerlo, consulteArchivos de configuración del sitio. Es importante tener en cuenta que para reemplazar el archivo predeterminado, la URL de origen debe coincidir exactamente con el nombre del archivo.