面向对象的 Sim2Real 关键点检测与描述
计算机视觉与模式识别
2022-02-04 v2 人工智能
机器人学
摘要
关键点检测与描述在计算机视觉中起着核心作用。现有多数方法采用场景级预测形式，并不返回不同关键点所属的物体类别。本文提出面向对象的形式化定义，在传统设定之外，进一步要求识别每个兴趣点所属的物体。借助此类细粒度信息，我们的框架可支持更多下游应用潜力，例如在密集环境中实现物体级匹配与位姿估计。为规避真实世界中标签采集的困难，我们提出了一种 sim2real 对比学习机制，可将仿真中训练的模型泛化至真实世界应用。我们训练方法的新颖性体现在三方面：（i）将不确定性引入学习框架，以改善少纹理或对称块等难例的特征描述；（ii）将物体描述符解耦为两个输出分支——物内显著性与物间区分性，从而获得更好的像素级描述；（iii）施加跨视角语义一致性以增强表征学习的鲁棒性。在图像匹配与 6D 位姿估计上的综合实验验证了我们方法从仿真到现实的令人鼓舞的泛化能力。尤其在 6D 位姿估计上，我们的方法显著优于典型的无监督/sim2real 方法，与全监督对应方法的差距明显缩小。更多结果与视频见 https://zhongcl-thu.github.io/rock/
引用
@article{arxiv.2202.00448,
title = {Sim2Real Object-Centric Keypoint Detection and Description},
author = {Chengliang Zhong and Chao Yang and Jinshan Qi and Fuchun Sun and Huaping Liu and Xiaodong Mu and Wenbing Huang},
journal= {arXiv preprint arXiv:2202.00448},
year = {2022}
}
备注
accepted to AAAI2022