Словарь интернет-терминов: Web crawler (веб-краулер)
Время поиска: 0.003
Описание
Web crawler (веб-краулер)
специальная программа, входящая в состав каждой поисковой системы. Основная задача робота: сканирование веб-страниц, известных поисковой системе, с целью обновления данных об их содержимом, а также поиск новых страниц, еще не включенных в индекс.