Advertisement

Python+Selenium微博数据采集程序:WBCrawler.exe

  •  5星
  •     浏览量: 0
  •     大小:None
  •      文件类型:None


简介:
WBCrawler.exe是一款利用Python与Selenium框架开发的数据采集工具,专门用于自动化抓取微博平台上的各类信息。 本执行程序exe是用于《Python爬虫【零】问题介绍 -- 对“微博辟谣”账号的历史微博进行数据采集》的Windows编译版本,基于Python3.7+selenium制作。 1. 在运行项目前,请确保下载了与selenium兼容的浏览器驱动程序(driver.exe),并将其放置在系统环境变量路径中。否则将出现错误。 2. 运行该程序时,在默认用户文件夹下会创建一个虚拟python环境,这可能会导致启动时间较长(大约30秒后屏幕才会显示提示信息,请耐心等待)。由于这个原因,执行电脑本身无需安装Python和selenium依赖包。 3. 本项目采用cmd命令行界面运行。当屏幕上出现“选择爬取方式:1. 移动版微博爬取2. PC网页版微博爬取(单线程)3. PC网页版微博爬取(页面内多线程)4. PC网页版微博爬取(多线程异步处理多页面)”的提示时,使用键盘输入数字1至4并按回车键执行。 4. 在编译此exe文件时,工程代码中指定的数据保存地址为相对路径(即excel文件夹)。因此,在程序运行结束阶段可能会因不存在该目录而报错。如果将数据保存地址改为绝对路径后重新生成exe,则可以正确地存储爬取到的信息。

全部评论 (0)

还没有任何评论哟~
客服
客服