ATK：自动任务驱动的关键点选择以实现鲁棒策略学习
机器人学
2025-10-07 v2
摘要
视觉运动策略常面临感知挑战，训练环境与评估环境之间的视觉差异会降低策略性能。依赖状态估计（如6D姿态）的策略需要任务特定的跟踪，难以扩展，而基于原始传感器的策略可能对小视觉扰动缺乏鲁棒性。在本工作中，我们利用2D关键点——图像帧中空间一致的特征——作为鲁棒策略学习的灵活状态表示，并将其应用于sim-to-real迁移和真实世界模仿学习。然而，关键点的选择在物体和任务之间可能有所不同。我们提出了一种新方法ATK，以自动化的任务驱动方式选择关键点，使所选关键点能够预测给定任务的最优行为。我们的方法优化一个最小关键点集合，使其聚焦于任务相关部分，同时保持策略性能和鲁棒性。我们将专家数据（来自仿真中的专家策略或人类专家）蒸馏为在RGB图像上运行并跟踪所选关键点的策略。通过利用预训练的视觉模块，我们的系统能够有效编码状态，并将策略迁移到真实世界评估场景中，克服宽泛的场景变化和感知挑战，如透明物体、细粒度任务和可变形物体操作。我们在多种机器人任务上验证了ATK，证明这些最小关键点表示显著提高了对视觉扰动和环境变化的鲁棒性。详见 https://yunchuzhang.github.io/ATK/。
引用
@article{arxiv.2506.13867,
title = {ATK: Automatic Task-driven Keypoint Selection for Robust Policy Learning},
author = {Yunchu Zhang and Shubham Mittal and Zhengyu Zhang and Liyiming Ke and Siddhartha Srinivasa and Abhishek Gupta},
journal= {arXiv preprint arXiv:2506.13867},
year = {2025}
}