Knowledge-Incorporated Routing Network for Scene Graph Generation.pd...

简介：
本文提出了一种知识融合路由网络模型，用于场景图生成。该方法通过引入外部知识增强了图形表示能力，显著提升了复杂场景的理解和描述精度。 为了深入理解一个场景，并不仅仅局限于定位或识别个别物体，还需要推断它们之间的关系与互动。然而由于现实世界中的关系分布严重不平衡，现有的方法在处理较少出现的关系上表现不佳。在这项工作中，我们发现物体对与其之间关系的统计关联能够有效规范语义空间并减少预测模糊性，从而很好地解决了这种不均衡问题。为此，我们将这些统计关联融入深度神经网络中，通过开发知识嵌入路由网络来促进场景图生成。具体来说，我们在图像中出现的对象及其之间的关系间显式地表示出结构化知识图，并学习了一种路由机制以在图内传播信息并探索它们的互动方式。大规模Visual Genome数据集上的广泛实验展示了所提出方法优于当前最先进的竞争对手的优势。