Quel fichier robots.txt pour votre site ?
Gildas 22/12/2013
seo, tips, faq, citraubien
En l'absence de fichier robots.txt, un site est réputé indexable en totalité. Néanmoins, certains "bots" et/ou certains outils (ex. les Google Webmaster Tools) semblent ne pas toujours apprécier cette absence.
Une alternative - que personnellement je préconise - consiste à créer un fichier robots.txt générique qui autorise l'accès à tout le site pour tous les "bots". Ce fichier indiquera aussi à ces voyageurs d'Internet où trouver le "sitemap" du site, leur évitant ainsi de se perdre...
sitemap: http://www.site.fr/sitemap.xml User-agent: * Disallow:
Il est possible et souhaite de vérifier la syntaxe de son fichier robots.txt via par exemple le site Frobee robots.txt checker
Si vous ne souhaitez pas que certains de vous répertoire soit indexés, vous pouvez en demander l'exclusion vi la directive Disallow :
Disallow: /private/
Attention, néanmoins car via ces directives vous indiquer aussi clairement à "tout à chacun" la structure de l'arborescence de votre site et par là même - peut-être - certaines informations que seuls vous êtes sensés connaitre...
Ce fichier n'est pas le seul moyen de demander à ce que certains contenus ne soient pas indexés. Le META robots" et le "nofollow" sont aussi à prendre en compte...
En savoir plus :
