Python新手爬虫实践：利用Scrapy抓取微博热搜并邮件通知

简介：
本项目旨在为Python初学者提供实战经验，通过使用Scrapy框架来爬取微博热搜数据，并将结果通过电子邮件自动发送。 环境配置： 使用Python 3.5 和 Scrapy 2.0.0 进行开发。 爬取内容及实现思路： 1. **微博热搜关键词、链接与导语**：本项目旨在抓取微博热搜的关键词，对应的链接以及简短概述（即导语）。 - 对于每个热搜条目的链接，可以通过分析包含相应关键词标签的属性来构建完整URL。 - 关键词获取方式是进入该词条的具体页面，在通常的位置解析出文本内容。如果找不到匹配的内容，则记录为“无”。 - 导语信息同样在关键词对应的详情页中提取；若未找到合适的导语，可以从该微博首页中选取一条微博进行截取以作为替代。 2. **排除推荐类条目**：对于类似于广告的推荐内容（如图4所示），这些不属于此次爬虫抓取的目标范围。因此，在解析出关键词链接的过程中，可以通过检查标签最后是否带有“荐”字来过滤掉这类非目标信息。 文件结构和具体实现将在后续章节详细介绍。