MonoPCC：面向内窥镜图像的单目深度估计的光谱不变性周期约束
计算机视觉与模式识别
2024-12-20 v4
摘要
光谱约束是自监督单目深度估计的必不可少的因素。它涉及使用估计的深度与位姿将源图像错位到目标视图，然后最小化错位后图像与目标图像之间的差异。然而，内窥镜内置灯光导致显著的亮度波动，从而使光谱约束不可靠。以往的做法仅依赖额外模型校准图像亮度。本文提出 MonoPCC，通过重塑光谱约束为循环形式来根本解决亮度不一致问题。MonoPCC 不仅仅对源图像进行错位，而是构建由两个相反的前向-后向错位路径组成的闭环：从目标到源，再回到目标。因此，目标图像最终接收到来自自身的循环错位，这自然使约束对亮度变化不变。此外，MonoPCC 将源图像的相位频率移植到中间错位图像中以避免结构丢失，并通过指数移动平均 (EMA) 策略稳定训练，以避免前向错位频繁变化。针对四个内窥镜数据集进行的全面且广泛的实验结果表明，我们提出的 MonoPCC 对亮度不一致具有很好的鲁棒性，并且通过分别将绝对相对误差降低至少 7.27%、9.38%、9.90% 和 3.17%，超越了其他最先进的方法。
引用
@article{arxiv.2404.16571,
title = {MonoPCC: Photometric-invariant Cycle Constraint for Monocular Depth Estimation of Endoscopic Images},
author = {Zhiwei Wang and Ying Zhou and Shiquan He and Ting Li and Fan Huang and Qiang Ding and Xinxia Feng and Mei Liu and Qiang Li},
journal= {arXiv preprint arXiv:2404.16571},
year = {2024}
}
备注
14 pages, 12 figures