На первый взгляд поисковая система выглядит довольно просто, однако для того чтобы ее пользователь смог увидеть необходимые ему результаты по тому или иному запросу, в ее структуре задействуется работа сразу нескольких программных компонентов.
Итак, любой современный поисковой сервис состоит из таких программ, работающих автономно друг от друга, и выполняющих каждый свою функцию. Не все популярные поисковые системы похожи друг на друга, но и старые и новые поисковики имеют эти компоненты.
Crawler. Основной задачей этого программного элемента поисковой системы является «блуждание» по всемирной сети, благодаря которому он имеет возможность находить новые web-документы, при обнаружении которых он дает команду пауку скачать их на сервер поисковой системы.
Spider. Задачей этой программы является сачка на сервер поисковика все найденных Crawler web-документов. Устроен Spider точно так, как любой современный браузер, однако он не имеет визуальной оболочки и воспринимает страницы web-сайтов только в виде html кода.
Database. Это обычная база данных, в которой размещены все скачанные пауком документы.
Indexer. Эта программа является ключевым элементом любой поисковой системы. Именно Indexer принимает решение о релевантности web-документа его поисковому запросу, а также определяет его место в поисковой выдаче. Indexer проводит анализ текстовой части документа, выявляет его заголовок, ключевые слова, вспомогательные теги и так далее. Кроме того, именно на этом этапе работы поисковой системы происходит фильтрация web-документов в соответствии с требованиями алгоритма поисковой системы.
Search Engine Results. Это и есть выдача поисковой системы, которую видит пользователь, вбивая в форму поиска тот или иной запрос. Основной ее задачей является показ пользователям web-документов в соответствии с их релевантностью поисковому запросу.
