Comment se faire passer pour GoogleBot
Voir ce que voit GooglBot
Un certain nombre de sites web, plus ou moins malhonnêtes mettent en place un système dit de cloaking qui consiste a présenter aux robots de Google (dit Google Bot) un contenu différent de celui présenté aux visiteurs de leurs sites!
Si vous êtes curieux de voir si un site utilise cette technique voici quelques moyen de contourner le dit cloaking .
1. Utiliser une Adresse IP de Google pour vaincre un Cloaking IP: Utiliser le Service de Traduction de Google comme d’un Proxy, faites une traduction Allemand->Francais pour un site qui serait déjà en français.
2. Vaincre le Cloaking de l’en-tête HTTP User-Agent: Utiliser l’extension FireFox User-Agent Switcher pour spoofer l’entête HTTP User-Agent du Robot de Google (GoogleBot).
En fait quand vous naviguez sur un site votre navigateur envoi au serveur une sorte de "signature" pour dire "Je suis FireFox", par exemple Mozilla/5.0 (Windows; U; Windows NT 6.0; fr; rv:1.9.1.4) Gecko/20091016 Firefox/3.5.4 GTB5 (.NET CLR 3.5.30729), alors que la dite “Signature” de GooleBot est plutôt du genre “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
3. Vaincre les Techniques Javascript: Les sites utilisent parfois le JavaScript pour rajouter du contenu que Google Bot ne verra pas ou au contraire pour masquer du contenu que seul Google Bot verra. Pour être a égalité avec GoogleBot sur ce point il suffit de désactiver le Javascript en utilisant l’extension Firefox Web Developer Toolbar par exemple.
4. Vaincre les Techniques liées aux cookies: A ce qu’il parait Google Bot n’accepte pas les cookies, donc un technique de cloaking consiste a ne pas délivrer le même contenu si les cookies ne sont pas gérés par le visiteur du site. Pour vous faire passer pour GoogleBot vous pouvez donc désactiver les Cookies en utilisant l’extension Firefox Web Developer Toolbar par exemple.
5. Vaincre le cloaking Referer: En fait quand vous allez sur un site a partir d’un autre site le navigateur indiquera au site web de destination le “Site de Provenance”. Pour vous faire passer pour le Robot de Google vous devrez ne plus envoyer de REFERER aux sites que vous visitez. Pour cela il vous suffit d’utiliser par exemple l’extension Firefox RefControl Extension.
Pour ceux qui seraient tentés de faire du Cloaking sur leurs sites, réalisez bien que si nous sommes capables de nous faire passer pour Google, il y a fort a penser que GoogleBot est capable de se faire passer pour nous. Vous pourriez donc assez rapidement être déréférencé de Google, le jeu n’en vaut probablement pas la chandelle!
Tagged as Cloaking, Extenstions FireFox, Google, GoogleBot, Referencement, Referer, User-Agent + Categorized as Astuces