Google vient de commencer une petite série de billets expliquant le fonctionnement de Googlebot, le crawler/spider qui explore les sites afin d’en indexer le contenu.
Le premier message parle des headers HTTP envoyés par Googlebot, les types de fichiers analysés, la compression et le fichier robots.txt. Les billets suivants traiteront des codes réponse HTTP et de l’optimisation du passage de Googlebot sur un site (ni trop rarement ni trop souvent).
Je suppose que tout webmestre conscient des enjeux du référencement connaît déjà ces astuces dans leurs grandes lignes, mais il est néanmoins utile de les lire clairement présentées…
Voici le premier article sur Blogspot : http://feeds.feedburner.com/~r/blogspot/amDG/~3/247043440/first-date-with-googlebot-headers-and.html