Директива robots
Синтаксис
<head>
...
<meta name="robots"
content="[значение]">
...
</head>
Описание
Директива robots (от англ. "robots" ‒ «роботы») устанавливает отношение поисковых роботов к содержимому страницы.
Поддержка браузерами
Спецификация
| Верс. | Раздел | |
|---|---|---|
| HTML | ||
| 2.0 | Associated Meta-information: META | Перевод |
| 3.2 | META | |
| 4.01 | The META element name = name [CS]... DTD: Transitional
Strict
Frameset
|
|
| 5.0 | 4.2.5.1 Standard metadata names |
|
| 5.1 | 4.2.5.1. Standard metadata names |
|
| XHTML | ||
| 1.0 | Extensible HyperText Markup Language DTD: Transitional
Strict
Frameset
|
|
| 1.1 | Extensible HyperText Markup Language | |
Дополнительные ресурсы:
| Сайт | Тема |
|---|---|
| wiki.whatwg.org | MetaExtensions - WHATWG Wiki |
| robotstxt.org | The Web Robots Pages |
| google.com | Описание метатега robots и HTTP-заголовка X-Robots-Tag |
| yandex.ru | Использование HTML-элементов |
| yahoo.com | Yahoo! Search Support for ‘NOYDIR’ Meta Tags and Weather Update |
Значения атрибута «content»
Атрибут «content» должен иметь значение, являющееся строкой с набором разделённых запятыми лексем. Выделяют следующие наиболее распространённые лексемы:
- all
- Позволяет роботу индексировать содержимое страницы.
Поддерживается: Яндекс.
- follow
- Позволяет роботу следовать по ссылкам на странице.
Поддерживается: Яндекс, Google, Yahoo, Bing.
- index
- Позволяет роботу индексировать содержимое страницы.
Поддерживается: Яндекс, Google, Yahoo, Bing.
- noarchive
- Запрещает поисковой системе кэшировать содержимое страницы.
Поддерживается: Яндекс, Google, Yahoo.
- nocache
- Запрещает поисковой системе кэшировать содержимое страницы.
Поддерживается: Bing.
- nofollow
- Запрещает роботу следовать по ссылкам на странице.
Поддерживается: Яндекс, Google, Yahoo, Bing.
- noimageindex
- Запрещает индексирование изображений на текущей странице.
Поддерживается: Google.
- noindex
- Запрещает роботу индексировать содержимое страницы.
Поддерживается: Яндекс, Google, Yahoo, Bing.
- none
- Запрещает роботу индексировать страницу. Аналогичен значению «
noindex, nofollow».Поддерживается: Яндекс, Google.
- noodp
- Предотвращает использование описания Open Directory Project, если таковые имеются, в качестве описания страницы в странице результатов поисковой системы.
Поддерживается: Яндекс, Google, Yahoo, Bing.
- nosnippet
- Запрещает отображение любого описания страницы на странице результатов поисковой системы.
Поддерживается: Google.
- notranslate
- Запрещает предлагать перевод текущей страницы в результатах поиска.
Поддерживается: Google.
- noydir
- Запрещает использование описания Yahoo Directory, если таковые имеются, в качестве описания страницы на странице результатов поисковой системы.
Поддерживается: Yahoo.
Пример использования
<html>
<head>
<meta charset="utf-8">
<title>Директива robots</title>
<meta name="robots" content="noindex, nofollow">
</head>
<body>
<h1>Пример использования директивы "robots"</h1>
<p>Данный документ не будет индексироваться поисковыми роботами.</p>
</body>
</html>