基于全测试时 RGB-D 嵌入自适应的未见物体实例分割
计算机视觉与模式识别
2023-02-23 v2 机器人学
摘要
分割未见物体是机器人的一项关键能力，因为其在运行过程中可能遇到新环境。近来，一种流行的解决方案是利用大规模合成数据的 RGB-D 特征，并将模型直接应用于未见真实场景。然而，由仿真到真实的鸿沟引起的域偏移不可避免，给分割模型带来了关键挑战。本文强调跨仿真到真实域的适配过程，并将其建模为对仿真训练模型的批归一化（BatchNorm）参数的学习问题。具体而言，我们提出了一种新颖的非参数熵目标，以开放世界方式表述测试时适配的学习目标。进而，进一步设计了跨模态知识蒸馏目标以促进测试时知识迁移以实现特征增强。我们的方法仅需测试图像即可高效实现，无需标注或重新访问大规模合成训练数据。除显著节省时间外，所提方法在重叠与边界指标上持续提升分割结果，在未见物体实例分割上达到了最先进的性能。
引用
@article{arxiv.2204.09847,
title = {Unseen Object Instance Segmentation with Fully Test-time RGB-D Embeddings Adaptation},
author = {Lu Zhang and Siqi Zhang and Xu Yang and Hong Qiao and Zhiyong Liu},
journal= {arXiv preprint arXiv:2204.09847},
year = {2023}
}
备注
Accepted to ICRA 2023