Analyse de Logs + crawl

Une journée

Comprendre le fonctionnement d’un moteur de recherche

Anatomie d’un moteur de recherche

Que sont le crawl et l’indexation

Principes de l’algorithme de classement

Les enseignements  de l’analyse de logs

Identifier les informations nécessaires  dans les logs

Monitorer le passage des bots sur votre site

Relever les rescodes

Identifier les urls les +/- crawlées

Obtenir les pages orphelines

Des graphiques pour une vision  évolutive du comportement  des bots

Le volume de crawl (URLs uniques ou nouvelles) et le bad crawl

Le crawl et les visites par rescodes

Les visites, le taux de pages actives et les  nouvelles pages avec visites

Les pages inactives crawlées et non visitées

La durée entre le dernier crawl et la visite faite  sur votre page

La fenêtre de crawl

Analyse de cas

-Recommandations et axes de renforcement

Surveiller votre crawl

Mettre en place un système d’alerte  de variation des indicateurs

Catégoriser vos URLs pour analyser  par type de pages ou univers

Catégoriser les bots pour surveiller  l’activité des moteurs

Historiser vos données pour comprendre  indexation et positionnement

Monter son analyseur de logs

Installer un outil issu de Linux

Awk / Nawk, Elasticsearch, Logstash,  et Kibana

Mettre en place la récupération des données  automatiquement

Atelier

Installation et recommandations