基于点追踪的历史感知视觉运动策略学习
机器人学
2026-03-17 v2
摘要
许多操作任务需要超出当前观察的记忆，但大多数视觉运动策略依赖马尔可夫假设，难以处理重复状态或长程依赖。现有方法试图延伸观察时程，但对多样化的记忆需求仍不足。为此，本文提出一种基于点追踪的对象中心化历史表示方法，将过去的观察抽象为仅保留关键任务相关信息的紧凑结构化形式。通过对追踪点进行编码和在对象级别聚合，获得可无缝集成到各种视觉运动策略中的紧凑历史表示。该设计在保持高计算效率的同时实现完全历史感知，显著提升整体任务性能和决策准确性。通过多样化操作任务的广泛评估，显示该方法解决了记忆需求的多个方面——包括任务阶段识别、空间记忆、动作计数，以及更长期的需求如连续记忆和预加载记忆——并始终优于马尔可夫基线和既有历史方法。项目网站: http://tonyfang.net/history
引用
@article{arxiv.2509.17141,
title = {History-Aware Visuomotor Policy Learning via Point Tracking},
author = {Jingjing Chen and Hongjie Fang and Chenxi Wang and Shiquan Wang and Cewu Lu},
journal= {arXiv preprint arXiv:2509.17141},
year = {2026}
}
备注
accepted by ICRA 2026