Информационные технологии окружают нас...

Идентификаторы роботов (ботов) поисковых систем

Идентивикаторы роботов поисковых систем

Роботы поисковой системы Яндекс:
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) — этот робот поисковой системы Яндекс индексирует текст на сайте.
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) — робот Яндекса, ищет и индексирует фотографии и изображения.
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) - робот, индексирующий видео файлы.
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) - робот, индексирующий мультимедиа файлы.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots - робот, индексирующий блоги робот, читающий RSS ленту сайта.

Выдержка из лог-файлов: 95.108.215.13 - - [01/Jul/2011:03:22:33 +0400] "GET /index.php?format=feed&type=rss HTTP/1.0" 200 25247 "-" "Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; B; +http://yandex.com/bots) 1 readers"

Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots) - робот, для индексации файлов favicon.ico (пиктограмма сайта).
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) - робот, проверяющий сайт после добавления его через форму "Добавить URL". Можно встретить в логах сервера запись этого робота как: AddUrl.

Выдержка из лог-файлов:95.108.234.36 - - [01/Jul/2011:00:53:08 +0400] "GET /internet/54-zaprosy-yandex-online.html HTTP/1.0" 200 21162 "-" "Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)"

Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) - робот, обращающийся к странице при валидации микроразметки, через соответствующую форму.
Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) - робот, мобильных сервисов.
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) - робот, индексирующий сайты, которые принимают участие в Рекламной сети Яндекса (Яндекс.Директ).

Выдержка из лог-файлов: 95.108.246.252 - - [01/Jul/2011:04:43:07 +0400] "GET /software/46-3d-films.html HTTP/1.0" 200 9721 "-" "Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)"

Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) - робот сервиса Яндекс.Метрика.

Выдержка из лог-файлов:95.108.129.207 - - [01/Jul/2011:04:52:49 +0400] "GET / HTTP/1.0" 200 44365 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)"

"Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)" - робот, идентифицирующий зеркала и главные хосты сайтов.

Выдержка из лог-файлов:95.108.150.235 - - [02/Jul/2011:13:54:31 +0400] "GET / HTTP/1.0" 200 11092 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)"

Bond, James Bond (version 0.07) — робот, предположительно проверяющий на сайте насколько реклама Яндекс.Директ соответствует содержанию.

У Яндекса имеются роботы для определения доступности сайта или документа, который состоят в том, или ином сервисе (Яндекс.Директ, Яндекс.Каталог и т.д.).

Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel; +http://yandex.com/bots) - «робот простукивалка» Яндекс.Директа. Он проверяет правильность ссылок, которые указаны в объявлениях перед их модерацией.
Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) - «робот простукивалка» Яндекс.Новостей. Формирует отчеты для контент-менеджера Яндекса и тем самым сообщает о проблемах со стороны сайтов-поставщиков новостей..
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel; +http://yandex.com/bots) - «робот простукивалка» Яндекс.Каталога. Определяющий доступен ли в настоящее время сайт. Если сайт недоступен в настоящее время он снимается с публикации в каталоге, как только робот определяет его доступность, сайт автоматически публикуется снова в Яндекс.Каталоге.
Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots) - робот, проверяющий страницы сайта на вирусы (опасный код).
Mozilla/5.0 (compatible; YandexZakladki/3.0; Dyatel; +http://yandex.com/bots) - «робот простукивалка» Яндекс.Закладок. Если сайт недоступен, ссылка на него меняет свой цвет на серый.
IP-адреса роботов Яндекса часто меняются, поэтому нет смысла их отслеживать.

Роботы поисковой системы Google:
Googlebot/2.1 (+http://www.google.com/bot.html) - основной робот индексирующий материалы сайта.
Mozilla/4.0 (MobilePhone SCP-5500/US/1.0) NetFront/3.0 MMP/2.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) - робот, индексирующий сайт для версии WAP Google.

 

Добавить комментарий


Защитный код
Обновить


Если у Вас появились вопросы, задайте их на нашем форуме.
Пользуетесь ли Вы Яндекс.Маркетом для поиска товаров?
 


© Информационные технологии, 2010-2012.
При использовании материалов указание источника и гиперссылка на http://blogobit.ru обязательны.