从RGB-D图像中学习测地感知的局部特征
计算机视觉与模式识别
2022-03-24 v1
摘要
大多数现有的手工设计与基于学习的局部描述子至多近似满足仿射图像变换不变性，且常忽略可变形表面。本文更进一步，提出一种从RGB-D图像（其中RGB指像素颜色亮度，D代表深度信息）计算描述子的新方法，该描述子等距非刚性形变不变，且对尺度变化与旋转亦不变。我们提出的描述策略基于利用表面测地线在无失真局部图像块上学习特征表示这一关键思想。我们设计两种互补的局部描述子策略以高效计算测地感知特征：一种基于手工二进制测试的高效二进制描述子（名为GeoBit），以及一种使用卷积神经网络（CNNs）计算特征的基于学习的描述子（GeoPatch）。在使用真实与公开可用RGB-D数据基准的不同实验中，它们在匹配分数以及物体检索与非刚性表面跟踪实验中，均以可比的处理时间一致优于最先进的（SOTA）手工与基于学习的图像及RGB-D描述子。我们还向学界提供一个新数据集，包含经受强非刚性形变的不同物体（衬衫、布料、画作、包袋）的RGB-D图像的精确匹配标注，用于可变形表面对应算法的评估基准。
引用
@article{arxiv.2203.12016,
title = {Learning Geodesic-Aware Local Features from RGB-D Images},
author = {Guilherme Potje and Renato Martins and Felipe Cadar and Erickson R. Nascimento},
journal= {arXiv preprint arXiv:2203.12016},
year = {2022}
}
备注
This is a preprint version of the paper to appear at Computer Vision and Image Understanding (CVIU). The final journal version will be available at https://doi.org/10.1016/j.cviu.2022.103409