东方财富Java笔试题-STOCK_PRICE_FINBERT：利用Finbert模型对中文评论做情感分析以预测股价上涨

简介：
本项目旨在通过运用FinBert模型解析东方财富网上的股票评论数据，进行情感倾向性分析，并据此预判股价变动趋势。 东方财富的Java笔试题STOCK_PRICE_FINBERT以guba评论为初始语料，利用Finbert模型分析中文评论的情感极性，并预测股价上涨趋势。该项目主要由爬虫、Finbert模型以及假设检验三部分组成。 在项目中，我们使用了Xpath和Json技术，在东方财富网的股票吧论坛上抓取了20万条评论作为数据集。针对这些数据，我们的Finbert模型支持逐层解冻和梯度累积，并且每个训练周期都会对数据进行随机分割。这种处理方式不仅增加了模型训练过程中的随机性、降低了过拟合的风险，还能在一定程度上缓解小样本问题的影响。 此外，我们还封装了BERT模型以方便后续的扩展工作，并为Finbert赋予了Sklearn接口。假设检验被用来评估一定时期内评论极性和股票收益之间的相关程度。 项目中遇到的一个主要挑战是社会评论话题分散且包含大量脏数据，这严重影响了模型的表现和准确性。