爬虫定义

也称为蜘蛛或机器人， 履带 是一个搜索引擎程序，它“抓取”网络、收集数据、跟踪链接、复制新的和更新的站点，并将 URL 存储在搜索引擎的索引中。 这允许搜索引擎提供更快和更新的列表。