
力扣题库-leetcode_spider:利用标签,多线程方式抓取力扣中国的所有题目。
5星
- 浏览量: 0
- 大小:None
- 文件类型:None
简介:
本项目涉及leetcode题库的爬取与处理。具体而言,`dir.MakeDir.py` 文件中定义的 `path` 参数,用于指定您希望题目存储的目录位置(该设置是可选的)。对于会员用户,可以通过在 `promblem.Problem_Dtail` 中的 `ck` 字段中填入您的 Cookie 来爬取力扣会员专享题库。请注意,爬取的题目数据以 HTML 形式呈现,并包含 HTML 标签,以便后续进行渲染处理。如果您对这种数据格式不满意,可以自行在 `problem.Problem_detal` 中进行相应的修改。由于目前发现leetcode平台没有实施反爬虫机制,因此本项目并未采用代理请求的方式。项目的主要入口位于 `main.py` 文件中。此外,还包括以下辅助模块:`dir.Makedir.py` 用于创建存放对应标签题目的所有文件夹;`label.Label_Dic.py` 用于获取力扣题库中所有题目类型标签以及其对应的英文名称(字典);`label.Label_List.py` 则用于获取所有标签的名称(列表);最后,`problem.Problem_Url_Queue` 通过传递标签的英文名称来获取该标签下的所有题目 URL 以及详细信息,并将这些信息存储在 `problem.Problem_detal.py` 中,并以文本文件形式保存到本地。为了便于理解和使用,我们提供了leetcode爬取结果示例图。
全部评论 (0)
还没有任何评论哟~


