知乎话题爬虫：获取知乎所有话题的相关问答内容

简介：
本项目旨在开发一款知乎话题爬虫工具，用于高效地收集和整理知乎平台上各类话题下的相关问答内容。 Zhihu是一个知乎话题内容的爬虫工具，能够抓取知乎所有相关的话题问答数据。该爬虫采用Scrapy框架编写，并使用MongoDB进行存储。鉴于知乎话题下的问答信息量庞大（达到亿级），本项目仅针对“阅读”话题及其子话题中的精华问题与回答的信息进行了采集。 运行环境为Windows 10专业版，Python版本为3.5，使用的Scrapy版本是1.5.0，MongoDB的版本则是3.4.7。该项目依赖于Requests、Pymongo和Faker（用于随机切换User-Agent）等第三方库的支持。 知乎话题广场包含有共计33个父话题，每个父话题下拥有不同的子话题数量；而每一个子话题又关联着众多精华问题，这些问题之下还会有不同数目的回答。若要全面地爬取所有问答数据，则由于其庞大的信息量和长时间的耗时需求，并不现实。 因此，在本项目中选择了“阅读”这一特定的话题来进行数据采集工作。知乎上的子话题、精华问答等内容均通过动态加载的方式呈现，经过对相关动态加载链接的研究分析后完成了抓取任务。