ScanRefer：[ECCV 2020] ScanRefer基于自然语言的RGB-D扫描中的3D对象本地化

简介：
ScanRefer：基于RGB-D扫描自然语言描述三维物体局部化的方法 介绍 我们提出了一种新的任务，即基于RGB-D扫描进行三维物体局部化的描述方法。该任务以输入数据为基础，其中包含三维场景点云和目标物体的自然语言描述。为解决此问题，我们提出了ScanRefer系统，其核心在于通过学习融合的描述符从3D对象建议中提取特征并将其与语义信息关联起来。这些学习到的描述符将被用来将语言表达与3D扫描的基本几何特征进行关联，并最终促进目标物体的三维边界框回归。为了训练和评估我们的方法，我们开发了一个名为ScanRefer的数据集，该数据集包含来自800个不同场景的1,104个对象中的51,583个描述实例。 ScanRefer是首个通过自然语言直接在三维空间中执行目标定位任务的大规模基准数据集。 访问项目网站获取更多信息。 有关更多详细信息，请参见ScanRefer论文：基准挑战！我们正在开发一个隐藏的测试集来自动评估模型性能，并邀请研究人员参与这一挑战。训练完成后，您可以下载模型并在解压缩后的文件夹中找到所需内容。