面向开放世界机器人操作的持续手眼标定
计算机视觉与模式识别
2026-04-20 v1 机器人学
摘要
通过视觉定位进行手眼标定是机器人在开放世界环境中操作的关键能力。然而，大多数基于深度学习的标定模型在适应开放世界场景变化中的未见数据时，会遭受灾难性遗忘，而简单的基于重放的持续学习策略无法很好地缓解这一问题。为克服这一挑战，我们提出了一种持续手眼标定框架，使机器人能够通过空间重放策略和结构保持蒸馏，适应顺序遇到的开放世界操作场景。具体来说，空间感知重放策略(SARS)构建了一个几何均匀的重放缓冲区，确保对每个场景位姿空间的全面覆盖，用信息量最大的视角替换冗余的相邻帧。同时，提出了结构保持双重蒸馏(SPDD)，将定位知识分解为粗略场景布局和精细位姿精度，并分别进行蒸馏，以减轻持续适应过程中两种类型的遗忘。当新的操作场景出现时，SARS从所有先前场景中提供几何上具有代表性的重放样本，SPDD对这些样本应用结构化蒸馏以保留先前学到的知识。在新场景上训练后，SARS将来自新场景的选定样本纳入重放缓冲区以供将来重放，使模型能够持续积累多场景标定能力。在多个公共数据集上的实验显示出显著的抗场景遗忘性能，在保持对过去场景精度的同时，保留了对新场景的适应能力，证实了该框架的有效性。
引用
@article{arxiv.2604.15814,
title = {Continual Hand-Eye Calibration for Open-world Robotic Manipulation},
author = {Fazeng Li and Gan Sun and Chenxi Liu and Yao He and Wei Cong and Yang Cong},
journal= {arXiv preprint arXiv:2604.15814},
year = {2026}
}