基于模态间与模态内不确定性的多模态虚假新闻检测方法

简介：
本研究提出一种新颖的多模态虚假新闻检测框架，该框架能够有效识别并应对跨模态及同模态内的不确定性因素，提升虚假信息甄别精度。 近年来，多模态虚假新闻检测受到了越来越多的关注。现有的方法通常通过简单的连接或注意机制将多模态内容编码到一个确定的语义子空间点中进行融合处理。然而，这些现有技术忽视了不同模态特征中的噪声和鲁棒性问题，并且由于不同的输入数据具有不同程度的信任度，基于注意力的传统模型可能无法有效整合最佳信息。 为解决这些问题，我们提出了一种新的多模态不确定性学习网络（MM-ULN），通过建模内部及跨模态的不确定性来提高虚假新闻检测的效果。具体来说，本段落引入了模态内不确定性学习模块（EUL）以更好地理解复杂且有噪声的多模态内容，并采用变化注意力融合（VAF）模块自适应地整合不同权重和置信度水平下的多模态信息。 在实验部分，我们使用两个基准数据集验证了MM-ULN的有效性和优越性。研究表明，通过建模内部及跨模态不确定性并结合EUL与VAF模块的特性，我们的网络能够更准确、有效地检测虚假新闻。这不仅为多模态信息处理提供了新的视角，也为未来开发更为有效的虚假新闻识别技术开辟了道路。 综上所述，在社交媒体时代背景下，带有图像和视频的假新闻传播迅速且影响力巨大。传统的依赖于文本数据的方法已无法满足当前需求。通过建模多模态内容中的不确定性和噪声，并利用EUL与VAF模块，MM-ULN显著提升了虚假信息检测的能力，有助于构建更加可靠的信息环境并对抗信息时代的挑战。