Notre générateur de fichiers robots.txt de qualité est l'un des outils de création de robots.txt les plus avancés en ligne. Vous pouvez sélectionner de nombreuses options telles que le délai d’exploration et les noms des moteurs de recherche auxquels les règles robots.txt s’appliqueraient. Vous pouvez choisir d'enregistrer le fichier robots.txt créé ou vous pouvez simplement copier et coller manuellement le contenu texte créé dans votre fichier robots.txt. De plus, toutes ces options intensives sont 100% gratuites. Outre le générateur de robots.txt en ligne gratuit, nous avons plus de outils de référencement gratuits qui peuvent vous aider.
Qu'est-ce qu'un fichier robots.txt et comment est-il utilisé?
Robots.txt est un petit fichier texte situé à la racine du site Web répertoire qui montre les robots des moteurs de recherche et les araignées comme google, yahoo. bing etc. les pages du site et les fichiers que vous choisissez ou ne les choisissez pas à visiter. Habituellement, les webmasters et les blogueurs font un énorme effort pour se faire remarquer par les moteurs de recherche, mais il y a en fait des cas où cela n'est pas nécessaire pour certaines parties des propriétés Web qu'ils possèdent. Par exemple, si vous stockez des informations privées, une sorte de contenu sensible ou si vous avez juste besoin d'économiser de la bande passante en n'indexant pas les pages Web lourdes avec des charges d'images. Chaque fois qu'un robot de recherche ou une araignée accède à un site Web, il demande en premier lieu un fichier appelé '/robots.txt'. Si un tel fichier nommé "robots.txt" est disponible, le robot le contrôle pour toutes les instructions d'indexation de site Web ou de blog. De cette façon, il décide d'accéder et d'indexer uniquement les pages souhaitées par le webmaster ou le blogueur et ignore les autres pages.
Exemples d'utilisation
Voici une liste d'exemples utiles d'utilisation de robots.txt:
Refuser l'indexation de l'ensemble du site par tous les robots d'indexation Web:
Utilisateur -agent: *
Disallow: /
Autoriser tous les robots d'indexation Web à indexer l'ensemble du site:
User-agent: *
Disallow :
Refuser certains répertoires de l'indexation:
User-agent: *
Disallow: /private/
Refuser l'indexation du site pour un certain robot d'indexation Web:
User-agent: BadBot
Disallow: /
Sources utiles sur robots.txt
https://support.google.com/webmasters/answer/6062608?hl=fr - En savoir plus sur robots.txt fi les
https://fr.wikipedia.org/wiki/Protocole_d'exclusion_des_robots - Informations Robots.txt sur Wikipedia