gitee_scrapy：获取码云平台上全部开源项目的资料

简介：
gitee_scrapy是一款用于抓取Gitee（码云）平台所有公开项目信息的爬虫工具。它能够帮助开发者搜集和分析数据，更好地理解中国开源社区的发展趋势与热门技术领域。 该项目通过使用Scrapy-Redis进行分布式爬取gitee网站上的开源项目信息，并利用MongoDB存储数据。同时，借助pandas、numpy、matplotlib等第三方库对收集的数据进行分析。 要安装依赖包，请将项目克隆到本地并执行`pip3 install -r requirements.txt`命令。对于redis和mongobd的安装，请自行查阅相关文档或教程。 运行爬虫时，首先进入myspider目录下，然后通过命令 `scrapy crawl gitee-redis` 启动分布式爬虫脚本。启动前需将初始URL放入Redis中作为开始点（例如使用start_urls）。