IrvaBot

Ce qu'il visite

Irva ne parcourt pas le web au hasard : chaque visite est demandée par un utilisateur d'Irva, pour un site précis.

• Les pages qu'un utilisateur surveille : disponibilité, codes HTTP et changements de contenu.
• Les pages qui contiennent un lien vers le site d'un utilisateur, pour vérifier que ce lien est toujours en place.
• Le fichier robots.txt, les sitemaps et les pages d'un site qu'un utilisateur audite.
• Les pages classées dans les premiers résultats de Google pour les mots-clés qu'un utilisateur suit ou analyse, et les pages qui citent une marque qu'il suit.
• Quelques flux RSS et API publiques.

Comment il se présente

La plupart des visites portent ce user-agent :

Mozilla/5.0 (compatible; IrvaBot/1.0; +https://irva.io/bot)

Certaines visites ne le portent pas :

• Quelques lectures se présentent comme un navigateur Chrome, pour recevoir la page telle qu'un visiteur la voit : le test des codes HTTP d'une liste d'adresses, la plupart des analyses de pages classées dans Google et la recherche des mentions d'une marque.
• Dans notre crawler, l'utilisateur peut choisir une autre identité (Googlebot, Bingbot, un navigateur ou la sienne), par exemple pour voir son site comme Google le voit.
• Certaines pages sont lues pour nous par des services spécialisés (Firecrawl, Jina AI, DataForSEO, PageSpeed Insights de Google), qui se présentent sous leur propre nom. Ils figurent parmi nos prestataires, listés dans notre politique de confidentialité.
• L'intégration WordPress se présente sous « Irva/1.0 ».

Irva n'envoie jamais de formulaire. Il ne lit une page protégée qu'avec des identifiants que l'utilisateur lui a confiés : publication sur un site WordPress relié à Irva, ou audit d'un site en préproduction protégé par un mot de passe.

robots.txt

Notre crawler lit votre robots.txt avant de visiter le site. Il applique le groupe « IrvaBot » s'il existe, sinon le groupe « * », et respecte la directive Crawl-delay. Pour lui interdire votre site :

User-agent: IrvaBot
Disallow: /

L'utilisateur du crawler peut désactiver ce respect, par exemple pour auditer son propre site en préproduction. S'il choisit une autre identité, ce sont les règles de cette identité qui s'appliquent (Googlebot, Bingbot, sinon « * »).

Les autres visites portent sur une page précise demandée par un utilisateur (un lien à vérifier, une page surveillée, une page classée dans Google) : comme un navigateur, elles ne consultent pas le robots.txt. Pour les faire cesser, écrivez-nous (voir plus bas).

À quel rythme

• Un lien est revérifié une fois par mois. S'il semble avoir disparu, une seconde vérification a lieu trois jours plus tard, pour confirmer.
• Une page surveillée l'est au rythme choisi par l'utilisateur : toutes les 5 minutes au plus pour la disponibilité et les codes HTTP, toutes les heures au plus pour les changements de contenu.
• Une page classée dans Google est lue au plus une fois par relevé de positions : chaque jour pour un mot-clé que l'utilisateur surveille, sinon une fois par semaine et quand elle change de place. Jamais plus de deux pages d'un même site à la fois ; au premier refus (code 429 ou 503), ce site est laissé en paix dix minutes.
• Par défaut, le crawler démarre doucement, n'accélère que si votre serveur répond vite et ne dépasse pas 5 requêtes simultanées ni 5 pages par seconde. L'utilisateur peut modifier ces réglages, dans la limite de 20. Dans tous les cas, le crawler ralentit dès que votre serveur peine. Au premier refus (code 429), il fait une pause, en suivant l'en-tête Retry-After, et divise sa vitesse par deux ; si les refus se répètent, il s'arrête et attend l'utilisateur.

Une question, une demande

Pour toute question, ou pour demander qu'Irva cesse de visiter votre site, écrivez à [email protected] en précisant votre nom de domaine.