Générateur Robots.txt


Default - Tous les robots sont:  
    
Retardement:
    
Plan du site: (laissez en blanc si vous n'en avez pas) 
     
Robots de Recherche: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Répertoires restreints: Le chemin est relatif à root et doit contenir une barre oblique "/"
 
 
 
 
 
 
   



Maintenant, créez le fichier "robots.txt" dans votre répertoire racine. Copiez le texte ci-dessus et collez-le dans le fichier texte.


En ligne Gratuit : Générateur Robots.txt

Notre générateur de fichiers robots.txt de qualité est l'un des outils de création de robots.txt les plus avancés en ligne. Vous pouvez sélectionner de nombreuses options telles que le délai d’exploration et les noms des moteurs de recherche auxquels les règles robots.txt s’appliqueraient. Vous pouvez choisir d'enregistrer le fichier robots.txt créé ou vous pouvez simplement copier et coller manuellement le contenu texte créé dans votre fichier robots.txt. De plus, toutes ces options intensives sont 100% gratuites. Outre le générateur de robots.txt en ligne gratuit, nous avons plus de outils de référencement gratuits qui peuvent vous aider.

Qu'est-ce qu'un fichier robots.txt et comment est-il utilisé?

Robots.txt est un petit fichier texte situé à la racine du site Web répertoire qui montre les robots des moteurs de recherche et les araignées comme google, yahoo. bing etc. les pages du site et les fichiers que vous choisissez ou ne les choisissez pas à visiter. Habituellement, les webmasters et les blogueurs font un énorme effort pour se faire remarquer par les moteurs de recherche, mais il y a en fait des cas où cela n'est pas nécessaire pour certaines parties des propriétés Web qu'ils possèdent. Par exemple, si vous stockez des informations privées, une sorte de contenu sensible ou si vous avez juste besoin d'économiser de la bande passante en n'indexant pas les pages Web lourdes avec des charges d'images. Chaque fois qu'un robot de recherche ou une araignée accède à un site Web, il demande en premier lieu un fichier appelé '/robots.txt'. Si un tel fichier nommé "robots.txt" est disponible, le robot le contrôle pour toutes les instructions d'indexation de site Web ou de blog. De cette façon, il décide d'accéder et d'indexer uniquement les pages souhaitées par le webmaster ou le blogueur et ignore les autres pages.

Exemples d'utilisation
Voici une liste d'exemples utiles d'utilisation de robots.txt:

Refuser l'indexation de l'ensemble du site par tous les robots d'indexation Web:
Utilisateur -agent: *
Disallow: /


Autoriser tous les robots d'indexation Web à indexer l'ensemble du site:
User-agent: *
Disallow :


Refuser certains répertoires de l'indexation:
User-agent: *
Disallow: /private/


Refuser l'indexation du site pour un certain robot d'indexation Web:
User-agent: BadBot
Disallow: /

Sources utiles sur robots.txt

https://support.google.com/webmasters/answer/6062608?hl=fr - En savoir plus sur robots.txt fi les

https://fr.wikipedia.org/wiki/Protocole_d'exclusion_des_robots - Informations Robots.txt sur Wikipedia