基于多模态数据的机器人抓取检测算法

简介：
本研究提出一种创新性的机器人抓取检测算法，利用多模态数据提高机器人的识别与操作能力，促进自动化技术的进步。 我们研究了在包含物体的RGB-D场景视图中检测机器人抓取的问题，并采用了一种深度学习方法来解决这个问题，这种方法避免了手工设计特征所耗费的时间。这带来了两个主要挑战：首先，我们需要评估大量的候选抓取方案。为了使检测快速且稳定，我们提出了一种两步级联系统，包含两个深层网络，在第一步中选出的顶级结果将由第二步重新评估。第一个网络具有较少的特征，运行速度更快，并能有效去除不太可能成为最佳选择的候选抓取方式；第二个网络则拥有更多特征，虽然运行较慢，但仅需在前几步筛选出的最佳几个检测项上进行运算。 其次，我们需要有效地处理多模态输入数据。为此我们提出了一种基于多模态群正则化的权重结构化正则化方法。实验表明我们的方法提高了RGB-D机器人抓取数据集上的性能，并且可以成功地应用于两种不同的机器人平台执行抓取任务。