微博情感分析与爬虫技术

简介：
本项目聚焦于运用爬虫技术从微博平台获取大量用户发布的内容，并进行情感分析，旨在探索社会情绪及公众态度的变化趋势。 微博是中国最具影响力的社交网站之一，拥有庞大的用户群体。其功能与Twitter类似，在爬取数据的过程中我甚至发现了一些代码中采用了Twitter的变量命名方式。因此，如果你不熟悉中文的话，可以参考这个存储库中的模型设计部分而不必查看实际抓取的数据（如推文、主题等）。通过情感分析能够对用户进行分类，并向他们推送相应的广告内容。在此项目中，我选择的情感分析任务是将用户区分为真实用户和机器人两类。根据大多数关于微博机器人检测的研究论文指出，常用的分类方法是对用户的各项指标（例如关注数、粉丝数量以及平均发帖时间等）使用逻辑回归来进行区分。然而我认为这种做法的准确性不高且在面对不同的测试集时稳定性较差。此类任务需要自然语言处理模型的支持，因为虚拟账户与真实用户之间最大的区别在于他们撰写推文的行为和习惯。 请查看这些Colab笔记本： （注：此处原文有链接但已省略） 关于模型输入输出结构如下所示： Input │── 用户信息 me