通过正交平面解缠与多视图几何一致性感知的360度布局估计
计算机视觉与模式识别
2024-08-30 v2
摘要
现有全景布局估计方法倾向于从垂直压缩序列中恢复房间边界，由于压缩过程常混淆不同平面间的语义，导致结果不精确。此外，这些数据驱动方法对大量数据标注有迫切需求，而标注工作费时费力。针对第一个问题，我们提出正交平面解缠网络（DOPNet）以区分模糊语义。DOPNet由三个模块组成，集成后提供无失真、语义清晰且细节锐化的解缠表示，有利于后续布局恢复。针对第二个问题，我们提出一种针对水平深度和比率表示的无监督自适应技术。具体地，我们引入一种用于决策级布局分析的优化策略，以及一种用于特征级多视图聚合的一维代价体构建方法，两者均旨在充分利用多视角间的几何一致性。优化器为网络训练提供可靠的伪标签集，而一维代价体则利用其他视角的全面场景信息丰富每个视图。大量实验表明，我们的解决方案在单目布局估计和多视图布局估计任务上均优于其他SOTA模型。代码可在 https://github.com/zhijieshen-bjtu/MV-DOPNet 获取。
引用
@article{arxiv.2312.16268,
title = {360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception},
author = {Zhijie Shen and Chunyu Lin and Junsong Zhang and Lang Nie and Kang Liao and Yao Zhao},
journal= {arXiv preprint arXiv:2312.16268},
year = {2024}
}
备注
Accept to TPAMI2024. arXiv admin note: substantial text overlap with arXiv:2303.00971