基于共生 Transformer 与 NearFarMix 增强的半监督语义深度估计
计算机视觉与模式识别
2023-08-29 v1 机器学习
摘要
在计算机视觉中，深度估计对机器人、自动驾驶、增强现实和虚拟现实等领域至关重要。将语义与深度结合可通过互惠信息共享增强场景理解。然而，数据集中语义信息的稀缺带来了挑战。现有的卷积方法受限于局部感受野，阻碍了深度与语义间共生潜力的充分发挥。本文引入一种数据集无关的半监督策略以应对语义信息稀缺问题。提出深度语义共生模块，利用共生 Transformer（Symbiotic Transformer）通过在局部与全局上下文中信息交换实现全面互感知。此外，引入一种新颖增强方法 NearFarMix，通过策略性地合并两幅图像中的区域生成多样且结构一致的样本并增强控制，以对抗过拟合并补偿深度-语义双任务。在 NYU-Depth-V2 与 KITTI 数据集上的大量实验证明了我们所提技术在室内外环境中的优越性。
引用
@article{arxiv.2308.14400,
title = {Semi-Supervised Semantic Depth Estimation using Symbiotic Transformer and NearFarMix Augmentation},
author = {Md Awsafur Rahman and Shaikh Anowarul Fattah},
journal= {arXiv preprint arXiv:2308.14400},
year = {2023}
}
备注
Accepted at WACV 2024