GLUE：基于关键块跟踪的仿照学习全局-局部统一编码
机器人学
2025-09-30 v1
摘要
近年来，视觉表征学习在机器人仿照学习中获得了广泛关注。然而，在由杂乱和遮挡特征的复杂离散分布（OOD）环境中，全局视觉表征的注意力可能被稀释或干扰，从而导致策略性能下降。局部表征对任务相关对象具有不变性，这提供了解决方案。通过高效利用这些局部表征，训练和测试数据可以映射到更相似的特征空间，从而缓解协变量漂移问题。基于此，我们提出了 GLUE，一种基于关键块跟踪的仿照学习全局-局部统一编码框架。GLUE 通过采用文本引导机制选择并跟踪关键块作为关键局部表征。它具有一种新颖的融合框架，其中全局块特征查询局部块以提炼关键信息，yielding 细粒度局部特征相对于全局语境的异质性较低。这种融合表征引导机器人视觉注意力聚焦于任务相关对象，并保持精确的全局语境，这些共同作用将训练和测试分布对齐到类似且任务信息丰富的特征空间，从而增强仿照学习策略的鲁棒性。实验表明，GLUE 在仿真和真实世界环境中的 diverse 任务上均实现了强性能，分别在仿真中超过最强基线 17.6%，在真实世界环境中超过 36.3%，在真实世界泛化设置中超过 58.3%。GLUE 的项目网站可在 https://GLUE666.github.io/ 查看。
引用
@article{arxiv.2509.23220,
title = {GLUE: Global-Local Unified Encoding for Imitation Learning via Key-Patch Tracking},
author = {Ye Chen and Zichen Zhou and Jianyu Dou and Te Cui and Yi Yang and Yufeng Yue},
journal= {arXiv preprint arXiv:2509.23220},
year = {2025}
}
备注
8 pages, 5 figures