使用Python和Selenium进行关键词搜索，自动抓取淘宝商品并存储到MongoDB中
5星
- 浏览量: 0
- 大小:None
- 文件类型：None
简介：
本项目利用Python结合Selenium自动化工具，在淘宝网站上依据特定关键词执行搜索操作，并将获取的商品信息自动存入MongoDB数据库。
项目描述：使用selenium和webdriver爬取淘宝的图片、商品、价格等信息。在命令行界面输入参数后，将这些参数记录到txt文件中，运行爬虫程序之后，先通过手机扫码登录淘宝账号，然后PC端网页会自动翻页直到到达最后一页停止对商品进行抓取。
web端功能：
1. 下拉框选择搜索的商品。
2. 点击图片可以放大查看。
3. 点击详情按钮可查看商品的详细信息。
4. 使用饼图展示交易量占比情况。
运行步骤如下：
1. 新建命令行记录文件。该文件用于存储爬虫过程中输入的商品名称和数据库名字，具体位置为E:\a\cmd.txt；
2. 安装selenium并根据自己的chrome版本安装相应的webdriver.exe。
3. 启动爬虫：在命令行中执行`python crawl_taobao.py -k 商品名字 -d 数据库名字`。其中“商品名字”是指要搜索的商品名称，“数据库名字”是存储抓取到的数据的数据库名，建议使用拼音或英文；
4. 启动web端服务：通过运行 `python runserver.py` 命令来启动。
项目技术：
Python + Selenium + MongoDB
全部评论 (0)
还没有任何评论哟~
