面向单目深度估计的结构注意力记忆网络
计算机视觉与模式识别
2019-09-11 v1
摘要
单目深度估计是一项具有挑战性的任务，旨在从给定的单张 RGB 图像预测对应的深度图。近期提出的深度学习模型通过学习 RGB 图像域与深度域之间深度特征的对齐来预测图像深度。本文中，我们提出一种名为结构注意力记忆网络的新方法，通过考虑域适应中常见的结构规律性（例如重复结构模式、平面表面、对称性），更有效地迁移域特征用于单目深度估计。为此，我们引入一个新的结构导向记忆（SOM）模块，以学习并记忆 RGB 图像域与深度域之间的结构特定信息。更具体地，在 SOM 模块中，我们开发了可记忆滤波器库（MBF）单元来学习一组记忆结构感知的图像-深度残差模式的滤波器，以及注意力引导控制器（AGC）单元以在给定图像特征查询时控制 MBF 中的滤波器选择。给定查询图像特征，训练好的 SOM 模块能够自适应地选择最佳定制滤波器，用于图像与深度间具有最优结构差异的跨域特征迁移。总之，我们聚焦于通过提出一种新颖的端到端多尺度记忆网络来解决这一结构特定的域适应挑战，用于单目深度估计。实验表明，我们提出的模型在具有挑战性的 KITTI 和 NYU Depth V2 基准上相比现有监督单目深度估计方法展现出更优性能。
引用
@article{arxiv.1909.04594,
title = {Structure-Attentioned Memory Network for Monocular Depth Estimation},
author = {Jing Zhu and Yunxiao Shi and Mengwei Ren and Yi Fang and Kuo-Chin Lien and Junli Gu},
journal= {arXiv preprint arXiv:1909.04594},
year = {2019}
}
备注
8 pages, 6 figures