<meta name="robots">
La valeur robots pour l'attribut name de l'élément HTML <meta> (souvent appelée « balise robots ») définit le comportement d'exploration et d'indexation que les robots d'exploration web doivent utiliser avec la page.
Si elle est spécifiée, vous définissez les instructions pour les robots dans l'attribut content de l'élément <meta> sous forme de liste de règles séparées par des virgules.
Par exemple, pour indiquer aux robots qu'une page doit être exclue de leurs index de recherche, on peut utiliser la valeur noindex :
<meta name="robots" content="noindex" />
Note : Seuls les robots coopératifs suivent ces règles. Un robot doit tout de même accéder à la ressource pour lire les en-têtes et les éléments meta (voir X-Robots-Tag : Interaction avec robots.txt). Si vous souhaitez éviter la consommation de bande passante par les robots, un fichier robots.txt restrictif est plus efficace que des règles d'indexation car il bloque totalement l'exploration des ressources.
Notes d'utilisation
Un élément <meta name="robots"> peut avoir les attributs supplémentaires suivants :
content-
L'attribut
contentdoit être défini, et sa valeur définit le comportement d'indexation et d'exploration pour les robots des moteurs de recherche coopératifs. Accepte un ou plusieurs des mots-clés suivants, séparés par des virgules :index-
Autorise le robot à indexer la page. Il s'agit du comportement par défaut. Utilisé par tous les principaux robots.
noindex-
Demande au robot de ne pas indexer la page. Utilisé par tous les principaux robots.
follow-
Autorise le robot à suivre les liens de la page. Il s'agit du comportement par défaut. Utilisé par tous les principaux robots.
nofollow-
Demande au robot de ne pas suivre les liens de la page. Utilisé par tous les principaux robots.
all-
Équivalent à
index, follow. Utilisé par : Google. none-
Équivalent à
noindex, nofollow. Utilisé par : Google. noarchive-
Demande au moteur de recherche de ne pas mettre en cache le contenu de la page. Utilisé par : Google, Yahoo (angl.), Bing (angl.).
nosnippet-
Empêche l'affichage d'une description de la page dans les résultats des moteurs de recherche. Utilisé par : Google, Bing (angl.).
noimageindex-
Demande que cette page n'apparaisse pas comme page référente d'une image indexée. Utilisé par : Google.
nocache-
Synonyme de
noarchive. Utilisé par : Bing (angl.).
Description
Il y a plusieurs points importants à noter lors de la définition d'une valeur meta robots :
- Seuls les robots coopératifs suivent ces règles. Elles n'empêchent pas les acteurs malveillants comme les collecteurs d'adresses e-mail d'ignorer les directives.
- Si elles sont définies dans une balise
<meta>, les robots doivent tout de même accéder à la page pour lire ces règles. Pour réduire la bande passante, envisagez d'utiliser un fichier robots.txt à la place. - La balise
<meta name="robots">et le fichierrobots.txtont des rôles différents :robots.txtcontrôle l'exploration, tandis que la balise metarobotsinfluence l'indexation et d'autres comportements. - Une page bloquée par
robots.txtpeut tout de même être indexée si elle est liée depuis d'autres sources. - La directive
noindexne prendra effet qu'après que le robot aura revisité la page, donc assurez-vous querobots.txtne l'empêche pas. - Certaines valeurs, comme
indexvs.noindexoufollowvs.nofollow, sont mutuellement exclusives. Le comportement est indéfini en cas de valeurs contradictoires. - Des robots comme Google, Yahoo et Bing prennent aussi en charge ces directives dans l'en-tête HTTP
X-Robots-Tag, ce qui est utile pour les contenus non-HTML comme les PDF ou les images.
Exemples
Utilisation d'un mot-clé robots
L'exemple suivant utilise nofollow pour demander à un robot de ne pas suivre les liens d'une page et noindex pour demander que la page soit exclue de l'indexation :
<meta name="robots" content="nofollow, noindex" />
Spécifications
Bien que ne faisant partie d'aucune spécification, il s'agit d'une méthode de facto pour communiquer avec les robots d'indexation, les robots d'exploration web et des agents utilisateur·ice·s similaires.
Compatibilité des navigateurs
Cette fonctionnalité est destinée à être observée par les robots d'exploration, donc la compatibilité « navigateur » ne s'applique pas.
Voir aussi
- L'en-tête HTTP
X-Robots-Tag - Guide de configuration robots.txt
- L'entrée de glossaire robots.txt
- L'entrée de glossaire moteur de recherche
- RFC 9309: Robots Exclusion Protocol
- MetaExtensions du wiki WHATWG (angl.)
- Utiliser la balise meta robots (angl.) sur developers.google.com