seo tools

Generador de Robots.txt

Crear un archivo robots.txt para controlar cómo los motores de búsqueda rastrean e indexan tu sitio web.

Allow search engines to index your site

Add custom rules for specific user agents or paths

# robots.txt generated by Yoopla

User-agent: *
Allow: /

# Sitemap
Sitemap: https://example.com/sitemap.xml

How to Use Generador de Robots.txt

  1. 1

    Ingresa la URL de tu sitemap.

  2. 2

    Elige si permitir o denegar todos los rastreadores.

  3. 3

    Añade reglas personalizadas para user agents o rutas específicas.

  4. 4

    Copia o descarga el archivo robots.txt generado.

Frequently Asked Questions

¿Qué es robots.txt?

robots.txt es un archivo que indica a los rastreadores de motores de búsqueda qué páginas o secciones de tu sitio pueden acceder e indexar.

¿Dónde debo colocar robots.txt?

El archivo robots.txt debe colocarse en el directorio raíz de tu sitio web (ej. https://example.com/robots.txt).

¿Puedo bloquear rastreadores específicos?

Sí, puedes usar reglas personalizadas para permitir o denegar user agents específicos como Googlebot, Bingbot, etc.

Compartir herramienta

Comparte esta herramienta con otros

Related Tools