Référentiel 1.0:Référencement : robots.txt

Libellé

La racine ou les pages du site contiennent des instructions pour les robots d'indexation.

Objectifs

Permettre un référencement ciblé améliorer le guidage pour les outils de recherche

Solutions techniques

Pour définir les répertoires, fichiers ou types de fichiers non indexables, utiliser les instructions User-agent et Disallow dans un fichier texte unique appelé robots.txt placé dans le répertoire racine du site. Voir à ce sujet A Standard for Robot Exclusion

Alternativement, pour agir au niveau d'une page spécifique, utiliser dans celle-ci la balise <meta name="robots" content="attribut1,attribut2"> où :

• attribut1 peut prendre les valeurs index (indexer cette page) ou noindex (ne pas indexer cette page) ;
• attribut2 peut prendre les valeurs follow (suivre les liens contenus dans cette page) ou nofollow (ne pas suivre les liens) ;

Moyens de contrôle

Validateur de robots.txt: http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

---