Récupérer et Analyser les LOGS de son site Internet

Simple et gratuit récupérez les Logs de votre site WordPress avec Wordfence.

Aujourd’hui dans le monde du SEO ou l’on parle de cocon sémantique, de siloing, de netlinking et autres techniques SEO,  on s’intéresse aussi et de plus en plus à l’analyse des logs pour savoir comment se comporte les robots, dont GoogleBot, sur les sites.

Le GoogleBot est un UserAgent qui sert à l’indexation de votre site sur le moteur de recherche Google en crawlant toutes vos pages Web visibles et invisibles.

C’est important et essentiel pour optimiser son référencement de savoir ce que le robot de google va exactement crawler, car il est parfaitement inutile que ce GoogleBot perde un temps « précieux » à scruter des pages qui n’existent plus (404), avoir des erreurs de serveurs (500-502-503) ou pire encore, des pages ou des adresses URL complètement inutiles qui pénalisent d’une certaine façon, votre référencement.

Comment récupérer tous les logs de son site WordPress ?

Pour récupérer les logs et filtrer les passages du GoogleBot (Googlebot/2.1; +http://www.google.com/bot.html) sur son site, il existe plusieurs méthodes, gratuites ou payantes.

• Analyser avec un tableur les logs de son site en récupérant ceux-ci sur son hébergement.          C’est faisable, mais c’est assez long et vous allez récupérer des fichiers assez volumineux de tous les logs et pas seulement ceux du GoogleBot. À vous après d’importer le fichier avec un tableur et d’appliquer les filtres correspondants.
• Analyser les logs en installant un outil gratuit comme Watussi de jeanBenoit Moingt

           C’est une solution que j’ai testé en version libre et qui fonctionne bien malgré les limites de la version Free, mais pas trop facile à mettre en oeuvre et pas toujours fiable sur les hébergements mutualisés.

• Analyser son site avec des sites spécialisés comme onCrawl, Botify ou SpiderLog 

           C’est (très) coûteux pour quelques sites, ne se justifie que pour les agences ou pour les « gros » sites vitrine ou e-commerce.

• Utiliser un Plugin dédié à l’analyse des logs pour les sites réalisés avec WordPress

Pour cette dernière option, il n’existe pas encore de plugin dédié, mais nous allons voir comment avec le plugin Wordfence, utiliser celui-ci pour récupérer facilement ces précieuses informations.

Wordfence un Plugin WordPress de sécurité un peu mouchard.

Tout le monde ou presque connaît le plugin Wordfence sécurity utilisable avec WordPress.

Il sert à protéger son site internet des tentatives d’attaque ou de hacking venant des 4 coins du monde, d’être averti à la moindre tentative de modification de fichiers systèmes ou des mises à jour du core ou des plugins.

C’est un plugin efficace, qui prévient les attaques même en version free, mais qui demande d’être bien paramétré pour obtenir une sécurité optimale et parer les attaques éventuelles. 

Pour l’utilisation qui nous intéresse, nous allons voir comment utiliser ce plugin pour visualiser les logs du Googlebot et ainsi, pouvoir agir sur les pages inutiles, hors indexations ou inexistantes et qui ne devraient pas être Crawlées.

1-Tout d’abord il faut installer le plugin wordfence et l’activer.

2-Une fois installé, paramétré et testé, il suffit d’aller dans la rubrique « LiveTrafic » et valider celui-ci.

3- Sélectionnez dans le menu déroulant le « Google Crawlers ». Notez que vous pouvez aussi sélectionner tous les crawlers (Bing, OVH, Amazon, GoogleImage,…). 

4- Dès lors, vous pourrez visualiser tous les passages du Googlebot, dates, heures et pages et vous pouvez maintenant avoir une vue sur les pages obsolètes ou inutilement crawlées.

Une autre fonction intéressante de ce plugin, c’est aussi la possibilité d’avoir un historique de ces crawls et de filtrer le trafic sur les requêtes, les IP, les codes de réponses HTTP,  etc.,etc.

Bien sûr, vous n’aurez pas de jolis graphiques ni de camembert multicolore, mais l’essentiel est là.

Pour des « petits sites vitrine » WordPress, cela peut être une bonne alternative aux outils de crawl en ligne souvent payants.

Il vous permettra d’avoir une idée de ce qui est vu par le GoogleBot et in fine, analyser les logs de ses sites à moindres coûts .

Maintenant, il ne vous reste plus qu’à indiquer au Googlebot les pages inutiles ou celles qui n’existent plus, soit en agissant sur le fichier robots.txt ou sur le .htaccess. 

Mise à jour Janvier 2018

Je  teste un nouvel outil gratuit pour analyser les logs de son site, un outil gratuit développé par Olivier Papon .

Il s’agit de l’outil sur le site SEOLYSER , un outil SEO qui analyse votre budget crawl aussi bien que certains sites connus d’analyse de logs et qui donne beaucoup d’informations intéressantes. À tester sans attendre.