多视角图像修复（计算机视觉）

简介：
多视角图像修复是计算机视觉领域中的一个重要课题，涉及从其他视角或来源收集的信息来恢复受损或缺失的部分，以提高图像的完整性和质量。 大多数图像补全方法对于每个被遮挡的输入只能生成一个结果，尽管可能有许多合理的可能性。本段落提出了一种多元图像补全的方法——即为图像补全任务生成多个多样化且合理的结果。 基于学习的方法面临的主要挑战是通常只有一个标签对应的训练实例作为真实值。因此，从条件变分自编码器中采样仍然会导致多样性不足。为了克服这一问题，我们提出了一个新颖且概率原理为基础的框架，包括两个并行路径：一条重建路径和一条生成路径。重建路径利用给定的真实值来获取缺失部分的先验分布，并根据此分布重构原始图像；而生成路径则将其条件先验与从重建路径获得的分布结合在一起。这两个路径都由GAN（生成对抗网络）支持。 此外，我们还引入了一种新的长短时注意力层，该层利用解码器和编码器特征之间的远程关系来提高外观一致性。在包含建筑物（巴黎）、人脸（CelebA-HQ）以及自然图像（ImageNet）的数据集上进行测试后，我们的方法不仅生成了更高质量的补全结果，并且还提供了多个多样化且合理的输出。