Le blog de Yahoo fournit ajourd'hui des astuces pour limiter la bande passante utilisée par les robots d'indexation (spiders) des moteurs de recherche, Yahoo en particulier :

  • Utiliser la compression à la volée (ex : mod_gzip pour Apache) pour réduire le volume de données transférées.
  • Activer l'utilisation des entêtes If-Modified-Since.
  • Utiliser l'extension speciale "crawl delay pour fixer un délai entre 2 requêtes du spider.