基于自蒸馏的室内 360{\deg} 语义分割互补双向特征压缩
计算机视觉与模式识别
2022-07-07 v1
摘要
近来，基于水平表示的全景语义分割方法优于基于投影的方案，因为通过沿垂直方向压缩球面数据可有效去除畸变。然而，这些方法忽略了畸变分布先验，并受限于不平衡的感受野，例如垂直方向感受野充足而水平方向感受野不足。不同的是，沿另一方向压缩的垂直表示可提供隐式畸变先验并扩大水平感受野。本文中，我们结合两种不同表示，从互补视角提出一种新颖的 360{\deg} 语义分割方案。我们的网络包含三个模块：特征提取模块、双向压缩模块和集成解码模块。首先，我们从全景图中提取多尺度特征。然后，设计双向压缩模块将特征压缩为两种互补的低维表示，提供内容感知与畸变先验。此外，为促进双向特征融合，我们在集成解码模块中设计了一种独特的自蒸馏策略，以增强不同特征间的交互并进一步提升性能。实验结果表明，我们的方法在定量评估上以至少 10\% 的提升优于最先进方案，同时在视觉外观上展现出最佳性能。
引用
@article{arxiv.2207.02437,
title = {Complementary Bi-directional Feature Compression for Indoor 360{\deg} Semantic Segmentation with Self-distillation},
author = {Zishuo Zheng and Chunyu Lin and Lang Nie and Kang Liao and Zhijie Shen and Yao Zhao},
journal= {arXiv preprint arXiv:2207.02437},
year = {2022}
}