FreshBot : le nouveau robot de Google





En tant que webmaster, je participe à de nombreux forums de discussion pour apprendre des autres webmasters et aussi pour aider quelques uns à résoudre leurs problème dans la gestion de leur site web.

Et il y a des questions comme celles-ci qui reviennent très souvent : "Mon site figurait hier dans l'index de Google et aujourd'hui, il n'y est plus. Pourquoi?" "J'ai fait quelques modifications dans mon site et Google semblait les avoir acceptées. Mais, il continue d'afficher les anciens fichiers. Pourquoi Google fait-il cela?"

Compte tenu de l'importance de Google pour tous les webmasters, ces questions les inquiètent énormément. Qui n'a jamais entendu parler de sites Internet pénalisés ou bannis par Google ?

Heureusement, si je puis dire, il y une explication à ce phénomène qui pertube toute logique Internet, si logique il y a : Everflux!

Qu'est-ce Everflux?

J'en ai déjà parlé dans un récent post sur ce blog et j'en parle encore aujourd'hui car vous devez y apporter une grande importance à l'avenir.

Everflux est un système de fluctuation mis en place par Google pour raffraîchir quotidiennement sa base de données. Et donc accorder une plus grande importance aux sites web mis à jour. Pour mieux comprendre le fonctionnement de ce système, commençons par voir le cycle normal de mises à jour de Google avec son fameux Google Dance.

Fonctionnement du cycle de GoogleBot

En général, à chaque début de mois, le robot GoogleBot, qui s'occupe de faire du " Deep Crawl " (exploration en profondeur), explore le Web afin d'indexer les nouveaux sites créés et enregistrer les mises à jour des sites web existants. Ce procédé prend en général 5 à 10 jours au total.

Une fois cette indexation effectuée par GoogleBot, il faut attendre deux à trois semaines avant que les résultats soient disponibles lors de requêtes sur le moteur de Google. Mais, il faut aussi savoir que pendant cette période de Google Dance, les résulats retournés par Google tendent à fluctuer un peu. Et ceci peut durer 2 à 3 jours, voir une semaine.

Ainsi fonctionne le cycle normal d'exploration et d'indexation de Google qui n'a d'incidence que pour les sites ayant des mises à jours très fréquentes, tels que les sites de news ou les blogs ou les forums.

Le robot de l'intéractivité

Vous aurez donc compris qu'attendre 2 à 3 semaines pour mettre à jour des bases de données aussi importantes que celles de Google est un délai trop long. Surtout que l'Internet vit à l'heure du Web 2.0, et donc de l'intéractivité dominée par les informations en continue et aussi par les blogs et les sites communautaires tels que FaceBook, MySpace. La solution ? C'est le nouveau robot de Google dénommé "FreshBot".

Google FreshBot, qui s'occupe de faire du "Fresh Crawl" (exploration des nouveautés), est un robot secondaire de Google qui a pour mission de parcourir le Web en permanence. Donc en non-stop ! Il se charge de visiter les pages web que Google pensent être des pages de référence en fonction des liens de qualité entrants ainsi que les sites importants qui ont de nouveaux contenus intégrés sur une base régulière.

Le robot FreshBot explore donc le web et ajoute ses données collectées non pas dans la base de données principale de Google, mais dans une base de données temporaire.

Cette base de données temporaire va être incorporée dans les pages de résultats de requêtes des internautes. Ce qui va permettre à Google de continuer son cycle normal mensuel de mise à jour tout en renvoyant aux utilisateurs du contenu très récent et mis à jour.

Une confusion maîtrisée

Alors, tenez-vous bien, car cela crée quelques confusions chez les webmasters. Pourquoi ? Tout simplement, la confusion provient du fait que la base de données temporaire utilisée par le robot FreshBot est en fait réécrite chaque jour avec les tous derniers enregistrements plus récents fournis par le robot.

Qu'est-ce que cela veut dire ? Cela veut dire qu'une page web présente dans la base de données temporaire un jour peut ne pas y figurer le lendemain, surtout s'il n'a pas de nouveauté à offrir à FreshBot. Yes !

C'est la raison pour laquelle un site nouvellement créé peut être indexé un jour par FreshBot et ajouté à la base de données temporaire et être visible par tous les internautes pour ensuite disparaîre le jour suivant.

C'est la même chose qui peut arriver à votre page web modifiée que vous ne retrouverez telle quelle sur Google 3 à 5 jours plus tard quand FreshBot aura livré votre nouveau cru sur votre ancienne version dans la base de données principale.

Phénomène de fluctuation permanente

Il y a quand même une bonne nouvelle à tout ceci. Les sites Internet ou les pages web indexés par FreshBot mais qui disparaissent le lendemain réapparaîtront de façon permanente lors de la visite de confirmation mensuelle effectuée par GoogleBot lors de la Google Dance.

Alors, si vous avez vécu cette situation, ou la vivez en ce moment ou bien si ceci vous arrivait, n'ayez aucune crainte. Tout est normal ! C'est simplement le système de "Google Everflux" qui est en action.