Screaming Frog · Crawl SEO & architecture
La carte de ton site telle qu'un bot la parcourt : URLs, statuts, métadonnées.
FREEMIUM
Pourquoi je l'utilise
- Visualiser toute l'architecture en une passe, y compris les fuites d'indexation.
- Comparer deux crawls pour mesurer le avant / après migration ou refonte.
Comment je l'utilise : mini guide
Je configure le spider en respectant robots.txt, puis j'exporte les colonnes canoniques, titre, hreflang si présent.
- Inventaire : Lister les codes HTTP, chaînes de redirections, pages orphelines ou trop profondes.
- Doublons : Titres et meta en double, contenu dupliqué sur variantes d'URL ; je mappe les corrections côté Shopify (redirections, canoniques).
- Hreflang & fusion : Sur du multi-marchés, je contrôle la cohérence des balises et des URL par locale.
- Exports : CSV partagé avec le client pour prioriser les corrections par lot.
Je ne crawl pas à volume maximal sans bannir les URL de prévisualisation ou de facettes si nécessaire : filtre d'exclusion pour éviter le bruit.
Exemple concret sur Shopify
Migration : 302 au lieu de 301 sur une partie des produits. Crawl comparatif avant / après correction : reprise du PageRank interne attendue.
Les limites que j'ai identifiées
- 500 URLs en gratuit : au-delà, licence ou découpage par sous-domaine.
- Ne remplace pas la logique métier Shopify (collections dynamiques, etc.).
- Consommation machine sur très gros sites.
Alternatives si tu ne veux pas payer
- Sitebulb ou Oncrawl pour des vues plus visuelles si budget outil.