Generador de Robots.txt


Predeterminado - Todos los robots son:  
    
Retardo de rastreo:
    
Mapa del sitio: (deje en blanco si no tiene) 
     
Robots de búsqueda: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener una barra diagonal. "/"
 
 
 
 
 
 
   



Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copia el texto anterior y pégalo en el archivo de texto.


En línea gratuito, Generador de Robots.txt

Nuestro generador de archivos robots.txt de calidad es una de las herramientas de creación de robots.txt más avanzadas en línea. Puede seleccionar muchas opciones como retraso de rastreo y nombres de motores de búsqueda a los que se aplicarían las reglas de robots.txt. Puede elegir guardar el archivo robots.txt creado o simplemente puede copiar y pegar el contenido de texto creado en su archivo robots.txt manualmente. Además, todas estas opciones intensivas son 100% gratuitas. Además del generador gratuito de robots.txt en línea, tenemos más herramientas de SEO gratuitas que pueden ayudarlo.

¿Qué es un archivo robots.txt y cómo se usa?

Robots.txt es un pequeño archivo de texto ubicado en la raíz del sitio web directorio que muestra rastreadores y arañas de motores de búsqueda como google, yahoo. bing, etc., qué páginas y archivos del sitio elige o no elige para visitar. Por lo general, los webmasters y los bloggers hacen un gran esfuerzo para que los motores de búsqueda los noten, pero en realidad hay casos en que no es necesario para ciertas partes de las propiedades web que poseen. Por ejemplo, si almacena información privada, algún tipo de contenido confidencial o simplemente necesita ahorrar ancho de banda al no indexar páginas web pesadas con muchas imágenes. Cada vez que un rastreador de motores de búsqueda o cualquier araña accede a un sitio web, solicita un archivo llamado '/robots.txt' en primer lugar. Si un archivo llamado 'robots.txt' está disponible, el rastreador lo controla para las instrucciones de indexación de cualquier sitio web o blog. De esta manera, decide acceder e indexar solo las páginas que el webmaster o blogger quiere e ignora las otras páginas.

Ejemplos de uso
Aquí hay una lista de ejemplos útiles del uso de robots.txt:

Denegar la indexación de todo el sitio por parte de todos los rastreadores web:
Usuario -agente: *
No permitir: /


Permitir que todos los rastreadores web indexen todo el sitio:
Agente de usuario: *
No permitir :


Denegar algunos directorios de la indexación:
Agente de usuario: *
No permitir: /privado/


Denegar la indexación del sitio para un determinado rastreador web:
Agente de usuario: BadBot
No permitir: /

Fuentes útiles sobre robots.txt

https://support.google.com/webmasters/answer/6062608?hl=es -Más información sobre robots.txt

https://es.wikipedia.org/wiki/Estándar_de_exclusión_de_robots - Información de Robots.txt en Wikipedia