ScrapyDouban：豆瓣电影和豆瓣读书的Scrapy爬虫

简介：
ScrapyDouban是一款基于Scrapy框架开发的爬虫工具，专门用于抓取豆瓣电影及书籍的数据。它能够高效地收集信息并支持数据解析与导出功能。 ScrapyDouban是一个基于Python3的豆瓣电影和读书爬虫项目，使用了Scrapy框架来实现封面下载、元数据抓取及评论入库等功能。维护该项目是为了分享我在使用Scrapy过程中的实践经验，它涵盖了大约80%我所用到的Scrapy知识，并希望可以帮助正在学习Scrapy的朋友。 此项目包含douban_scrapy、douban_db和douban_adminer三个容器： - douban_scrapy容器基于alpine：3.11，默认安装了scrapy、pymysql、pillow及arrow等Python库。 - douban_db容器基于mysql:8，初始化时使用docker/mysql/douban.sql文件来设置root密码为HardM0de，并将此数据引入到douban数据库中。 - douban_adminer容器基于adminer：4版本，映射端口为8080：8080以方便用户通过托管机IP:8080访问数据库管理界面。登录时需要的参数包括服务器（db）、用户名(root)以及密码(HardM0de)。 该项目使用的Scrapy版本为2.1。