什么是“蜘蛛”? 一个简单的定义 2010/11/20 by 本·贝利 也称为爬虫或机器人, 蜘蛛 是一个搜索引擎程序,它“抓取”网络、收集数据、跟踪链接、复制新的和更新的站点,并将 URL 存储在搜索引擎的索引中。 这允许搜索引擎提供更快和更新的列表。