За счет чего осуществляется индексация документов в Яндексе? Конечно же, в этом процессе принимают самое непосредственное участие роботы поисковика. Не знаете кто такие роботы? Это хранители списка адресов, которые могут быть ими проиндексированы, выкачивающие соответствующие им документы на регулярной основе. Каждый раз в процессе анализа страниц робот при обнаружении новой ссылки пополняет ей свой список. В результате ресурс или документ с имеющимися ссылками находится роботом и поиском системы Яндекс.
Чем больше вы будете знать о принципе работы роботов, тем больше шансов у вас будет на то, что сайт будет как можно более успешно проиндексирован. Сам процесс индексации осуществляется следующим образом. Роботы заходят на страницы и заносят их содержимое в свою базу данных документов, которые доступны для поиска.
Годом рождения поисковой системы Яндекс является 1996 год. Вернее в то время Яндекс представлял собой несколько отдельных продуктов, производящих поиск на сайте, а также поиск на дисках. Как видим в начале не было похоже что этот поисковик станет ведущей поисковой системой в рунете. Если смотреть историю поисковых систем, то многие поисковики и популярные сайты в начале совсем не были похожи на тех, кого в будущем ждет успех.
Яндекс, как известный нам сегодня поисковик, появился годом позже и был презентован на выставке Softool в качестве полнофункционального поисковика. С тех пор система заняла особое место в Рунете, совершенствуя алгоритмы поиска и индексирования информации.
Уже в 1999 году на свет появился новый робот-поисковик, благодаря которому пользователи получили возможность поиска информации по разным частям документа, включая заголовки, ссылки и адрес.
На сегодняшний день официально работают 11 роботов Яндекса, каждый из которых создан для решения определенных задач. Это главный робот, индексирующий документы, робот, в задачу которого входит определение зеркала ресурса, робот, индексирующий картинки, робот, занимающейся индексацией страниц ресурсов, принимающих участие в Рекламной сети поисковика и другие.
- Роботы поисковой системы Яндекс «ходят» с разных IP-адресов, которые периодически изменяются. Список таких адресов является секретной информацией и не подвергается разглашению.
Помимо основных роботов у поисковой системы Яндекс имеются агенты -«простукивалки», которые занимаются тем, что в тот или иной момент определяют насколько доступен ресурс или документ, ссылка на который была обнаружена ими в соответствующем сервисе. Такие агенты незаменимы в процессе индексирования страниц и документов в поисковой системе.
