
xueqiu_crawl: 获取雪球用户的多维数据集
5星
- 浏览量: 0
- 大小:None
- 文件类型:ZIP
简介:
xueqiu_crawl 是一个用于抓取和分析雪球用户投资行为、观点交流等多维度信息的数据采集工具,为研究者提供全面详实的数据支持。
使用方法如下:
1. 安装MongoDB。
2. 使用自己的cookies,在pyspider项目和xueqiu_cube_crawl.py文件中进行相应的更改。
3. 在该目录下运行pyspider,打开本地主机:5000,开始执行xueqiu_user爬取任务。当积累足够多的用户数据后:
4. 运行`python xueqiu_import.py`命令,将结果导入到MongoDB中。
5. 执行`python xueqiu_cube_crawl.py`来获取每个用户的详细多维数据集信息。
最终,在MongoDB中会存储有详尽的多维数据集详情。
全部评论 (0)
还没有任何评论哟~


