Les robots (ou araignées) de Google explorent les nouvelles pages web et leurs contenus, les enregistrent dans leurs bases de données, puis les positionnent en fonction des requêtes des internautes.
En d'autres termes, si vos pages et contenus sont indexés par un moteur de recherche, ils apparaîtront dans ses résultats de recherche. Et s'ils se positionnent en première position, les chances d'obtenir des lecteurs et/ou des clients potentiels augmentent.
La position que vous obtiendrez après avoir indexé une page sur Google dépendra de votre stratégie SEO et de l'originalité et de la qualité du contenu. De plus, pour Google, l'expérience utilisateur (UX) est très importante, car le fait de maintenir les internautes sur vos pages sera bien évalué.
Puis-je aider à l'indexation d'une page web ?
Vous savez maintenant ce qu'est l'indexation et pourquoi elle est importante pour le référencement organique. Vous vous demandez peut-être maintenant ce qu'il faut faire pour que vos pages web soient enregistrées par les moteurs de recherche. Voici quelques actions que vous pouvez commencer à mettre en œuvre :
1. Créez un sitemap
C'est un document qui contient toutes les adresses des pages d'un site web, parmi lesquelles nous pouvons choisir celles que nous voulons indexer dans les moteurs de recherche. De plus, il spécifie également la date et la fréquence de mise à jour du contenu.
Vous pouvez consulter le guide de Google pour Créer et envoyer un sitemap.
2. Utilisez Robots.txt
C'est un fichier texte que nous devons placer à la racine du domaine du site web. Il sert à spécifier aux robots de Google quelles pages lire et lesquelles ne pas lire. Ainsi, nous pouvons guider la lecture pour n'indexer que ce que nous voulons positionner.
Vous pouvez également consulter ce guide de Google Comment écrire et envoyer un fichier robots.txt.
3. Mettez à jour votre contenu
Les robots ne vérifient pas votre contenu une seule fois, mais reviendront sur votre site web chaque fois que vous téléchargerez quelque chose de nouveau ou mettrez à jour ce qui a déjà été indexé. C'est pourquoi il est important de travailler régulièrement sur votre site web, car Google vous donnera une meilleure position dans son index.
4. Faites du linkbuilding
Le linkbuilding est une stratégie qui aide à générer des relations ou des liens avec d'autres sites web ou blogs pour qu'ils publient des liens vers les pages de votre site web (backlinks). Il y a un double objectif :
- Gagner en autorité auprès de Google car ses robots détectent que d'autres sites web parlent de votre page, facilitant son indexation.
- Le lien apparaît sur des pages d'autres sites web qui ont déjà été indexées, ce qui facilite également l'indexation de votre page.
5. Travaillez sur les liens internes
Ce sont les liens qui existent entre les différentes pages de votre site web. Pourquoi est-ce important ? Parce que les robots de Google, en détectant un site web, voyagent entre ses liens et les analysent à la recherche de contenu pertinent. Il y a donc ici aussi un double objectif :
- Les liens internes sont un facteur dans l'évaluation de la qualité du contenu, ce qui est prioritaire pour Google.
- Si votre site web a déjà des pages indexées, l'existence de liens vers les nouvelles pages facilitera l'indexation de ces dernières.
Les liens internes sont ceux du menu principal, ceux du pied de page (footer), les boutons d'appel à l'action, les widgets et les bannières (images avec liens), ainsi que les liens situés entre les textes des pages.
Puis-je vérifier l'indexation de mes pages web ?
Vérifier l'indexation de vos pages web doit être l'une des tâches de votre stratégie SEO et il existe deux façons de le faire :
1. Utilisez la commande "site" sur Google
Elle sert à vérifier les pages d'un site web que Google a indexées. Pour cela, vous devez taper dans le moteur de recherche "Site:votredomaine".
2. Utilisez Google Search Console
C'est un outil gratuit de Google qui, parmi d'autres fonctions importantes, vous permet d'observer le niveau d'indexation de votre site web. Pour cela, vous devez consulter le rapport de couverture que Google Search Console vous fournit.
Pour travailler avec cet outil, nous vous recommandons de le connecter à votre compte Google Analytics dès les premiers jours de vie de votre site web.
La clé ici est encore Google Search Console. Si vous détectez que des pages n'ont pas été indexées, vous pouvez demander que les URL soient ajoutées à la liste de révision de Google.
Vous devrez d'abord prouver que l'URL est publiée, puis demander l'indexation.
Erreurs qui entravent l'indexation des pages web
1. Il existe des langages de programmation que Google n'explore pas et, par conséquent, ne peut pas indexer : par exemple, Flash ou Ajax.
2. Même cas pour les balises HTML Iframes (ou cadres) qui sont utilisées pour insérer du contenu dans une page. Ce contenu ne peut pas être lu par Google.
3. Si des pages d'un site web n'ont pas de lien interne ou externe et ne sont pas non plus incluses dans la lecture du sitemap, elles ne pourront pas non plus être explorées et indexées.
4. Une architecture web complexe, avec beaucoup de contenu et mal conçue, pourrait entraîner des difficultés de compréhension pour être explorée.
5. Si une page web redirige vers une autre ou génère des codes d'erreur, cela pourrait avoir un impact à la fois sur l'indexation d'une page sur Google et sur le positionnement ultérieur dans les résultats de recherche.
6. Redirections et erreurs courantes que l'on peut rencontrer :
- 301 : URL déplacée de façon permanente.
- 302 : page temporairement située à une autre URL. Si cela dure longtemps, Google l'interprétera comme une redirection 301.
- 307 : redirection temporaire, l'URL originale n'est pas trouvée et redirige vers une ressource différente. Cela pourrait se produire lors de la migration de http vers https.
- 404 : URL non trouvée.
- 410 : la page n'est pas disponible car elle a été supprimée.
- Erreurs 500 : ce sont des erreurs d'incapacité du serveur à répondre. Si cela dure longtemps, Google désindexera tout le contenu affecté.
- Réussir à indexer une page sur Google est essentiel pour qu'elle soit visible lors d'une recherche.
- N'oubliez pas que lier Google Analytics et Google Search Console est la première étape, après la création de votre site web, pour connaître le niveau d'indexation, les erreurs et les progrès.