Audit SEO de logs : ce que Googlebot vous cache
Les logs serveur sont la vérité du SEO : ils montrent ce que Googlebot crawle vraiment, à quelle fréquence, et où il bute. Sans audit de logs, vous pilotez à l'aveugle sur les gros sites.
Pourquoi auditer les logs serveur
- Voir quelles pages Googlebot crawle réellement
- Détecter les pages indexables jamais crawlées
- Identifier les pages qui bouffent le crawl budget inutilement
- Repérer les pics de crawl anormaux (potentielles attaques)
- Mesurer la fréquence de crawl par typologie
Setup technique pour collecter les logs
- Activer la conservation des logs côté serveur (généralement 30-90 jours)
- Filtrer le User-Agent Googlebot (et Bingbot)
- Format combined recommandé (avec referer)
- Volume : 100k-10M lignes/jour selon site
Outils d'analyse de logs SEO
- Screaming Frog Log Analyser : pour les sites < 500k logs/jour
- OnCrawl Log Analyzer : enterprise, gros sites
- Botify : enterprise, intégration crawler + logs
- Splunk / ELK : DIY si vous avez la team data
- Cloudflare Logs : si vous êtes sur CF
Métriques clés à monitorer
- Pages crawlées / jour
- Pages crawlées et indexées vs crawlées et non-indexées
- Pages indexables jamais crawlées
- Distribution du crawl par profondeur
- Distribution par type de contenu
- Taux de status code (200, 301, 404, 500)
- Pages crawlées mais inutiles (noindex, paramètres)
Optimisations possibles à partir des logs
- Bloquer le crawl des pages inutiles (paramètres, filtres facettés)
- Améliorer le maillage vers les pages indexables jamais crawlées
- Corriger les chaînes de redirection
- Identifier les hot spots (pages très crawlées vs pages oubliées)
- Optimiser le crawl budget
Vous voulez aller plus loin sur ce sujet ? Demandez un audit gratuit en 48 h pour évaluer votre situation actuelle et identifier vos prochains leviers prioritaires.