爬虫

网络爬虫（web crawler）是一种程序，通常被称为机器人（bot 或 robot），它会系统地浏览 Web 以收集网页数据。搜索引擎（例如 Google、Bing 等）通常使用爬虫来构建索引。