基于动态权重的LDA算法改进版

简介：
本研究提出了一种基于动态权重调整机制的LDA算法改进版本，旨在提高主题模型在文本挖掘中的准确性和适用性。 潜在狄利克雷分配（Latent Dirichlet Allocation, LDA）是一种广泛使用的三层概率主题模型，它实现了文本及其词汇在主题层次上的聚类分析。该模型基于词袋（Bag of Words, BOW）假设，即所有单词具有相同的重要性，从而简化了建模的复杂度。然而，这种设定使得生成的主题分布倾向于高频词出现较多的情况，并影响到语义连贯性。 为解决这一问题，我们提出了一种基于动态权重的LDA算法。该方法的核心理念是每个词汇在模型构建过程中应具有不同的重要程度，在迭代的过程中根据各单词属于不同主题的概率来动态调整其权重并反馈作用于主题建模过程，以此削弱高频词的影响，并提升关键词的作用。 实验结果表明，在四个公开数据集上进行测试时，基于动态权重的LDA算法相比现有流行的LDA推理方法在语义连贯性、文本分类准确率、泛化性能以及精度等指标方面均表现出更优的效果。