Python利用Scrapy进行兼职招聘网站的数据爬取与分析设计

简介：
本项目采用Python结合Scrapy框架，旨在高效地从兼职招聘网站抓取数据，并通过数据分析为用户提供详尽的职业信息和就业趋势。 技术环境：PyCharm + Django2.2 + Python3.7 + Scrapy + Redis + mysql 本项目爬虫端和网站后台采用Python语言开发，其中爬虫利用的是Scrapy框架可以轻松实现网站数据的抓取，抓取到的数据直接保存至mysql数据库中。前端采用Vue开发，并实现了前后端分离模式，前端通过请求Django后端获取所需数据并使用echarts绘制各种统计图表。 ## 前端开发 ```bash # 进入项目目录 cd dvadmin-ui # 安装依赖 npm install # 提示：不建议直接使用cnpm安装依赖，因为可能会遇到各种奇怪的问题。可以通过如下操作解决 npm 下载速度慢的问题。 npm install --registry=https://registry.npm.taobao.org # 启动服务 npm run dev # 浏览器访问 http://localhost:8080 # .env.development 文件中可配置启动端口等参数 ``` ### 发布 ```bash # 构建测试环境 npm run build:stage ```