抖音爬虫-收集公开数据.zip

简介：
网络爬虫按照系统架构与采用的技术手段可分为通用型、专注型、增量式以及深度爬取类等几种主要类型。实际中的网络爬虫系统往往是多种技术方案的综合运用以实现功能。 通用型网络爬虫又被称为全网抓取器（Scalable Web Crawler），其核心任务是从少量种子URL逐步覆盖整个Web空间，主要用于采集门户网站、搜索引擎以及大型Web服务提供商的数据资源。由于商业策略的原因，这类系统的技术细节鲜少对外公开。该类爬虫系统具有广泛的覆盖范围和庞大的处理量，对抓取速度与存储容量的要求较高，对结果页面的获取顺序要求相对较低度。为了提高效率，这类系统通常采用多线程处理方式运行，在长时间运行后才能更新一次抓取结果。尽管存在一定的缺陷性，但通用型网络爬虫在搜索广泛主题资源方面具有较强的实用性。 通用型网络爬虫的整体架构大致包含以下几大组件：网页爬行模块、网页分析模块、链接筛选模块、数据存储库、待处理URL队列以及初始 seed URL集合等部分。