Les bots SEA & verticals sont désormais inclus dans l’analyseur de logs d’Oncrawl

Nous venons d’intégrer 7 bots additionnels dans notre outil d’analyse de logs. Jusqu’à présent, nous ne traitions que les bots liés au SEO comme le googlebot desktop et mobile. Pourquoi devez-vous suivre ces bots ? Découvrez comment surveiller les bots liés aux recherches verticales et SEA peut s’avérer utile pour votre stratégie SEO.

Pourquoi surveiller des bots supplémentaires ?

Une vue globale du budget de crawl

Votre budget de crawl global inclut le coût des crawls de tous les bots de Google, pas seulement des bots SEO. Vous pouvez examiner les changements dans votre budget de crawl et leurs éventuels impacts sur vos positions en gardant un oeil sur tous les bots qui crawlent votre site.

Les données de la Google Search Console

La Search Console présente la fréquence et le budget de crawl comme valeur globale pour tous les bots de Google. Cela signifie que les visites de tous les bots sont ajoutées ensemble dans la Search Console. Ainsi, le nombre de visites de bots SEO que vous voyez dans Oncrawl sera toujours inférieur à ce que vous voyez dans la Search Console. Ce nombre est plus faible mais permet de comprendre plus précisément comment le budget de crawl est dépensé en fonction des visites SEO.

Avec l’ajout du reste des bots Google officiels, le nombre total de visites de bots sera bien plus exact que ce qui est indiqué dans la Google Search Console. Bonus supplémentaire : nous vous fournissons la répartition de crawl par bot.
Il peut rester des différences, en partie dues à la présence croissante des bots de Google qui ne sont pas toujours officiellement listés, et de ceux qui sont pas encore pris en compte dans Oncrawl, comme le bot AMP.

Identifiez s’il existe une relation entre Adwords et les crawls SEO

Est-ce que les AdsBots et les bots SEO partagent les informations qu’ils ont trouvées à propos de vos URLs ? Il s’agit d’une question fréquemment posée en SEO. Si les AdsBots partagent des informations avec les bots SEO, alors Google devrait avoir besoin de crawler vos pages moins fréquemment car elles auront déjà été crawlées par les AdsBots.

Surveiller le comportement de ces deux types de bots vous permet de déterminer s’il existe une relation entre les bots SEO et les AdsBots.

Tracker le comportement des deux bots peut vous apporter des réponses :

• Y-a-t-il une corrélation positive entre les bots SEO et le comportement des AdsBots ? (Est-ce que leurs fréquences de crawl augmentent et diminuent ensemble ?)
• Est-ce qu’une augmentation des visites de AdsBot conduit à une diminution des visites des bots SEO ?

Utilisez les googlebots média pour dégager des tendances

E-commerce : surveillez les googlebot-images et si les recherches image vous rapportent un certain nombre de visites. Comprenez à quelle fréquence vos pages sont crawlées pour leurs images et si le taux de crawl a un impact sur vos clics.

Médias en ligne : pistez le googlebot-image, le googlebot-video, le mediapartners-google pour comprendre à quelle fréquence vos articles sont choisis par Google et pour anticiper plus précisément les impressions et clics.

Surveillez l’interaction entre vos politiques SEO et SEA

Si vous êtes responsable des stratégies SEO et SEA, avoir accès au comportement du bot SEO est un avantage majeur.
Même si vous n’êtes pas en charge des campagnes SEA, contrôler les bots SEA va vous aider à mieux coordonner les stratégies SEO et SEA. Savoir comment ces deux types de bots se comportent peut éviter d’avoir des campagnes conflictuelles sur des URLs sélectionnées.

Les nouveaux bots intégrés dans Oncrawl

Adsense
Ces bots crawlent les pages pour AdSense.

• Mediapartners-Google (mobile)
• Mediapartners-Google (desktop)

Adsbot
Ces bots vérifient la qualité et la pertinence des pages utilisées dans les campagnes payantes.

• AdsBot-Google-Mobile
• AdsBot-Google (desktop)
• AdsBot-Google-Mobile-Apps

Media
Ces bots crawlent votre site à la recherche de médias indexables.

• Googlebot-Image
• Googlebot-Video

Note : vous pouvez suivre le comportement des bots SEO de Google, Googlebot (mobile) et Googlebot (desktop), dans les autres rapports sur la rubrique Logs Monitoring d’Oncrawl.

Bonnes pratiques pour les bots SEA & verticals dans Oncrawl

• Vous devez avoir l’option log monitoring active afin d’ajouter la fonctionnalité de traçage des bots SEO & verticals. (Cette information est extraite de vos analyses de logs.)
• Il est possible de suivre seulement une sélection des bots supplémentaires en filtrant vos fichiers de log avant de les envoyer à Oncrawl. Retirez les lignes de log relatives aux bots que vous ne voulez pas suivre.
• Si vous filtrez vos fichiers de log avant de les envoyer à Oncrawl, vous aurez besoin d’ajuster vos filtres. Laissez les lignes des bots qui vous intéressent. Vous pouvez baser vos filtres sur les informations de la liste officielle Google bot user-agents.
• Vous aurez peut-être besoin de consulter l’onglet “Resources” sur de nombreux graphiques si seulement une sélection de bots visite votre site, ou si vous surveillez uniquement quelques bots. C’est le cas si vos pages attirent les bots média, mais pas les bots AdSense ou AdsBot.
• Utilisez le set de données “Logs Monitoring: Events” dans le Data Explorer pour créer des rapports avec ces données.
• Si une large portion de votre trafic provient de Google News, ou des recherches image ou vidéo, surveillez les googlebots média pour comprendre et prédire les tendances de comportements d’utilisateurs.

Pour commencer avec les bots SEA et verticals

Contactez Oncrawl pour ajouter les bots SEA et verticals à votre plan, ou pour démarrer votre essai gratuit !
Les bots SEA et verticals sont un module complémentaire à l’option Log Monitoring disponible pour les plans Oncrawl Advanced. Si vous utilisez déjà le Log Monitoring, ce module est gratuit à activer mais aura un impact sur le nombre de lignes analysées par Oncrawl et donc sur le tarif.