Comme le mentionne cet article, Microsoft mise un max sur leur moteur de recherche msn. Encore un bon moyen de nous soutirer du blé peut être. Comme msn est le moteur de recherche par défaut sur Windows j'ai décidé de ne plus "enrichire" leur base en coupant l'accès de msnbot au site. On va voir si ce webcrawler respecte les regles !
Pour faire de même, placez un fichier nommé robots.txt à la racine de votre site contenant :
# msnbot go home !
User-agent: msnbot/0.11 (+http://search.msn.com/msnbot.htm) Disallow: /