DiFuse-Net：基于窗口双向视差注意力和跨模态迁移学习的RGB和双像素深度估计
计算机视觉与模式识别
2025-08-04 v2 机器人学
摘要
深度估计是智能系统的关键技术，使其能够应用于自动导航、增强现实等多种应用场景。虽然传统立体视觉和主动深度传感器在成本、功耗和鲁棒性方面存在局限，但双像素（DP）技术作为现代摄像机中普遍可用的技术，提供了具有竞争力的替代方案。本文引入DiFuse-Net，一种新颖的模态解耦网络设计，用于解耦合的RGB和DP基于深度估计。DiFuse-Net包含专为捕捉智能手机摄像机小光圈下微妙DP视差线索而设计的窗口双向视差注意力机制（WBiPAM）。网络包含独立的编码器从RGB图像中提取上下文信息，并将这些特征进行融合以增强深度预测。我们还提出了跨模态迁移学习（CmTL）机制，以利用文献中大规模RGB-D数据集来应对获取大规模RGB-DP-D数据集的局限性。我们的评估和比较表明，所提方法在DP和基于立体的方法基线方法方面具有优势。此外，我们贡献了一个新的高质量的真实世界RGB-DP-D训练数据集，称为Dual-Camera Dual-Pixel（DCDP）数据集，该数据集使用我们 novel 对称立体相机硬件设置、立体标定和畸变校正协议，以及AI立体视差估计方法创建。
引用
@article{arxiv.2506.14709,
title = {DiFuse-Net: RGB and Dual-Pixel Depth Estimation using Window Bi-directional Parallax Attention and Cross-modal Transfer Learning},
author = {Kunal Swami and Debtanu Gupta and Amrit Kumar Muduli and Chirag Jaiswal and Pankaj Kumar Bajpai},
journal= {arXiv preprint arXiv:2506.14709},
year = {2025}
}
备注
Accepted in IROS 2025