基于Scrapy框架的Python新闻爬虫，可抓取网易、搜狐、凤凰及澎湃等网站的新闻，并整理与存储标题、正文、评论及发布时间等信息。

简介：
这是一款利用Scrapy框架开发的Python新闻爬虫工具，专门用于从网易、搜狐、凤凰和澎湃等主流媒体网站获取并保存最新的新闻资讯，包括文章标题、内容详情、网友评价以及发布日期等关键数据。 该项目基于Scrapy框架构建了一个Python新闻爬虫程序，旨在从网易、搜狐、凤凰及澎湃网站上抓取文章及其评论，并将这些数据整理后保存至本地。 项目需求包括： 1. 爬取上述四个平台的文章与评论。 2. 至少收集并处理不少于十万页的新闻网页。 3. 每日更新每个新闻网页及其相关评论内容。 技术方面，该项目设计了一个能够抓取指定网站全部页面，并提取文章及评论信息的网络爬虫。同时，通过定时任务确保每日自动运行以实现数据更新。 项目流程从初始URL开始，由Scheduler调度下载器进行网页下载；之后Spider解析获取的数据，主要负责识别新的链接和需要保存的信息。前者会反馈给中间件后再次传递回Scheduler处理后续抓取请求；后者则进入Item Pipeline完成进一步的预处理与存储操作。最终所有数据会被输出并以文件形式存档。 项目结构包括： - scrapy框架相关的配置及脚本。 - 包含核心爬虫逻辑代码的spiders目录。 - 用于运行调试功能的debug_xxx.py脚本。