Algunos propietarios de sitios están optando por bloquear los rastreadores de IA, como ChatGPT y Bard, para evitar que rastreen su sitio y así evitar que aprendan o empleen el contenido del sitio web. Puede bloquear estos agentes de usuario de IA de manera similar a como bloquearía los rastreadores de Google: reemplazando el archivo robots.txt predeterminado con un nuevo archivo que especifique reglas disallow para agentes de usuario de IA específicos.
Advertencia
La plataforma de Duda no valida los archivos personalizados. Por ejemplo, si se carga un archivo dañado, se seguirá entregando.
Para bloquear tanto ChatGPT como Google-Extended:
-
Cree un nuevo archivo robots.txt. Te recomendamos que sigas las instrucciones de Google sobre cómo crear un archivo robots.txt.
-
Agregue el siguiente código al nuevo archivo robots.txt. Tenga en cuenta que los rastreadores procesan los archivos robots.txt de arriba a abajo, por lo que no recomendamos agregar directivas con comodines en la parte superior.
-
# Sitemap is also available on /sitemap.xmlSitemap: http://www.example.com/sitemap.xmlUser-agent: GPTBotDisallow: /User-agent: Google-ExtendedDisallow: /Agente de usuario: *
-
-
(Opcional) Si necesitas agregar otros grupos, sigue el mismo formato de:
-
User-agent: ????Disallow: /
-
-
Reemplace el archivo robots.txt predeterminado por el nuevo archivo. Para obtener información sobre cómo hacerlo, consulte Archivos de configuración del sitio. Es importante tener en cuenta que para reemplazar el archivo predeterminado, la URL de origen debe coincidir exactamente con el nombre del archivo.