Robots.txt Generator

Optimización de motores de búsqueda

Robots.txt Generator


Default - All Robots are:  
    
Crawl-Delay:
    
Sitemap: (leave blank if you don't have) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Restricted Directories: The path is relative to root and must contain a trailing slash "/"
 
 
 
 
 
 
   



Now, Create 'robots.txt' file at your root directory. Copy above text and paste into the text file.



Acerca de Robots.txt Generator

Cómo funciona esta herramienta:

Ingrese el retraso de rastreo, el mapa del sitio y los directorios restringidos, puede generar el archivo Robots.txt. Para cargar un archivo existente y ocupar previamente la herramienta generadora, escriba o copie y pegue el texto en la URL del dominio raíz y seleccione 'Cargar'. Puede usar las funciones "Permitido" y "Rechazado" para modificar el archivo Robots.txt generado. Tenga en cuenta que la herramienta se predetermina a 'Permitido'. Luego, para aplicar una nueva directiva a su lista, puede hacer clic en 'Agregar directiva' y para excluir o editar una directiva actual, seleccionar 'Eliminar directiva' y luego crear una nueva usando la función ‘Add Directive’.

Los archivos Robots.txt son opuestos al mapa del sitio web, que generalmente indica a los rastreadores las páginas que se incluirán. Cuando los rastreadores de los motores de búsqueda comienzan a rastrear un sitio web, generalmente comienzan por detectar un archivo robots.txt en el nivel del dominio raíz. En la identificación, el rastreador lee las instrucciones del archivo para reconocer directorios y archivos que pueden haber sido bloqueados. Estos archivos bloqueados se pueden crear con el generador robots.txt.