360-MLC：用于自训练与超参数调优的多视角布局一致性方法
计算机视觉与模式识别
2022-10-25 v1
摘要
我们提出 360-MLC，一种基于多视角布局一致性的自训练方法，仅使用无标注的 360 度图像对单目房间布局模型进行微调。在实际场景中，当预训练模型需要适配新数据域且不使用任何真值标注时，这具有价值。我们简单而有效的假设是：同一场景中的多次布局估计必须定义一致的几何结构，而无论其相机位置如何。基于该思想，我们利用预训练模型将多个相机视角的估计布局边界投影到 3D 世界坐标中，再将它们重投影回球坐标并构建概率函数，从中采样伪标签用于自训练。为处理不可靠的伪标签，我们评估重投影边界中的方差作为不确定性值，以在训练时对我们的损失函数中的每个伪标签进行加权。此外，由于训练和测试期间均无法获得真值标注，我们利用多次布局估计中的熵信息作为量化指标来衡量场景的几何一致性，从而能够在无真值标注的情况下评估任意布局估计器以进行超参数调优，包括模型选择。实验结果表明，当从三个公开源数据集自训练到一个由同一场景多视角组成的新标注独特数据集时，我们的方案相较于最先进的方法取得了良好的性能。
引用
@article{arxiv.2210.12935,
title = {360-MLC: Multi-view Layout Consistency for Self-training and Hyper-parameter Tuning},
author = {Bolivar Solarte and Chin-Hsuan Wu and Yueh-Cheng Liu and Yi-Hsuan Tsai and Min Sun},
journal= {arXiv preprint arXiv:2210.12935},
year = {2022}
}
备注
NeurIPS 2022