本资源提供了一个结合了Scrapy和Django框架的数据抓取与可视化的完整解决方案。专注于二手房信息的采集,并附带详尽的项目指导,帮助用户轻松构建高效的数据处理应用。
基于Scrapy和Django的二手房爬虫及可视化源码开发环境:Scrapy、Django2.x
项目描述:
该项目使用 Scrapy 框架爬取二手房数据,并通过 Django 框架将数据写入数据库,然后利用 ECharts 将分析后的数据在网页上进行可视化展示。
创建步骤如下:
1. 创建 Django 工程
```
django-admin startproject rent
```
2. 进入 `rent` 目录并创建Django项目:
```sh
cd rent
python manage.py startapp rentAnalysis
```
3. 创建 Scrapy 工程:
```
scrapy startproject rentSpider
```
4. 进入 `rentSpiders`目录并创建爬虫文件,命名为house,并指定目标网站为lianjia.com:
```sh
cd rentSpider/rentSpiders/
scrapy genspider house lianjia.com
```
5. 在Scrapy工程中配置Django环境后启动scrapy:
```
scrapy crawl house
```
6. 启动 Django 应用程序:
```
python manage.py runserver
```