Python利用Scrapy框架进行兼职招聘网站的数据爬取与分析设计

简介：
本项目运用Python编程语言及Scrapy框架，针对兼职招聘网站进行全面数据抓取，并对收集到的信息做深入分析和可视化呈现。 技术环境：PyCharm + Django2.2 + Python3.7 + Scrapy + Redis + MySQL 本项目爬虫端和网站后台采用Python语言开发，其中爬虫利用Scrapy框架可以轻松实现网站数据的抓取，抓取到的数据直接保存至MySQL数据库中。前端部分使用Vue进行开发，并实现了前后端分离模式；前端通过请求Django后端获取所需数据并用ECharts绘制统计图表。 ### 前端开发 ```bash # 进入项目目录 cd dvadmin-ui # 安装依赖项 npm install # 注意：不建议直接使用cnpm安装依赖，可能会出现各种奇怪的错误。可以通过以下方法解决 npm 下载速度慢的问题。 npm install --registry=https://registry.npm.taobao.org # 启动服务 npm run dev # 在浏览器中访问 http://localhost:8080 # .env.development 文件中可配置启动端口等参数 ``` ### 发布 ```bash # 构建测试环境 npm run build:stage ```