MOOC_Scrapy：从中国大学MOOC爬取数据的工具

简介：
简介：MOOC_Scrapy是一款专为从中国大学MOOC网站抓取课程信息、用户评价等数据而设计的Python网络爬虫框架应用，便于教育数据分析和研究。 MOOC_Scrapy是一个基于Scrapy的小爬虫项目，主要功能包括：各个学科频道下的所有科目的基本信息（包含课程二级界面的评分信息）、指定关键词搜索页面中的课程信息、数据存储以及使用两种可视化库进行初步尝试。 该项目的主要目的是编写一个能够处理Ajax接口的爬虫以供练习和提交作业之用。在初期测试阶段，从零开始查看XHR信息，并利用fiddler抓包及模拟POST请求来完成测试工作，在确保各项功能正常运行后再着手编码实现。对于可视化部分，则分别尝试了两种不同的库，每种都有各自的优点与不足之处；其中使用dash进行页面编写时觉得特别满意（当时还未完全掌握web基础知识）。总体而言，数据分析的实际意义不是很大，主要为了多绘制一些图表来熟悉这些工具的操作方法。 需要注意的是，在使用cookie文件过程中如遇到失效情况，请自行替换。