Robots.txt optimisé pour Wordpress

J’ai passé pas mal de temps à essayer d’optimiser le fichier robots.txt pour Wordpress. J’ai pour cela utilisé un certain nombre de ressources trouvées sur le web. J’ai commenté chaque ligne pour en faciliter la compréhension. J’utilise en plus de cela le plugin All in one SEO afin d’effectuer un certain nombre d’optimisations. Ce fichier est adapté à ma structure de permaliens. Il ne l’est pas forcément pour toutes les structures. Il contient un certain nombre de »Allow » qu’il n’est pas forcément utile de spécifier mais que j’ai mis pour des raisons de clarté et d’exhaustivité. Ma stratégie est de laisser passer les moteurs sur toutes les pages (ou presque) ce qui leur permet de rapidement découvrir la structure du site et les articles (via les archives et les catégories) et de bloquer ensuite l’indexation des archives et des catégories grâce All In One SEO (noindex, follow). Voici donc le contenu actuel de mon fichier robots.txt :

User-agent: * # Indique que les règles suivants s’appliquent à tous les robots
Disallow: /cgi-bin # Ne pas référencer le répertoire cgi-bin
Disallow: /wp-admin # Ne pas référencer le répertoire des fichiers d’admin
Disallow: /wp-includes # Ne pas référencer le répertoire ducode wp
Disallow: /wp-content/plugins # Ne pas référencer le répertoire des plugins
Disallow: /wp-content/cache # Ne pas référencer le répertoire cache
Disallow: /wp-content/themes # Ne pas référencer le répertoire des thèmes
Allow: /category # Autorise le passage sur les pages de catégories (l’indexation est bloquéepar All In One SEO)
Allow: /page # Autorise le passage sur les sous-pages (archives et catégories) mais l’indexation est bloquéepar All In One SEO
Allow: /2005/ # Autorise le passage sur les pages d’archives mais l’indexation est bloquéepar All In One SEO
Allow: /2006/ # Idem
Allow: /2007/ # Idem
Allow: /2008/# Idem
Disallow: /feed/ # Ne pas référencer lefeed (il sera référencé par feedburner)
Disallow: */trackback # Ne pas référencer les trackbacks (déjà référencés via la note)
Disallow: */feed # Ne pas référencer lesfeed de notes et de commentaires
Disallow: */comments # Ne pas référencer les commentaires (déjà référencés via la note)
Disallow: /*?* # Ne pas référencer les fichiers dynamiques
Disallow: /*? # Ne pas référencer les fichiers dynamiques
Disallow: /*.php$ # Ne pas référencer les fichiers php
Disallow: /*.js$ # Ne pas référencer les javascripts
Disallow: /*.inc$ # Ne pas référencer lesincludes
Disallow: /*.css$ # Ne pas référencer les styles css
Allow: /wp-content/uploads # Référencer les images

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /* # Autoriser le bot google Image sur tout le site
 
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /* # Autoriser lebot Adsense sur tout le site

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.lautre-monde.fr/sitemap.xml # lien vers lesitemap (généré par plugin)

# END XML-SITEMAP-PLUGIN