PanoMixSwap：通过结构交换的混合全景数据增强用于室内场景理解

训练数据的规模与多样性对现代基于深度学习的方法至关重要。与海量的标注透视图像相比，360 全景图像在规模与多样性上均显不足。本文提出 PanoMixSwap，一种专为室内全景图像设计的新型数据增强技术。PanoMixSwap 显式地混合现有室内全景数据集中的多种背景风格、前景家具与房间布局，生成多样化的新全景图像以丰富数据集。我们首先将每张全景图像分解为构成部分：背景风格、前景家具与房间布局。然后，通过混合来自三张不同图像的这三部分（例如一张图的前景家具、另一张图的背景风格、第三张图的房间结构）生成增强图像。由于图像组合呈立方增长，我们的方法产生高多样性。我们还在两项室内场景理解任务（语义分割与布局估计）上评估了 PanoMixSwap 的有效性。实验表明，采用 PanoMixSwap 训练的最先进方法在两项任务上均一致优于其原始设定。