Notes-to-Self：用于记忆相关操作任务的 Scratchpad 增强型视觉语言动作模型
机器人学
2026-02-25 v1
摘要
许多灵巧操作任务具有非马尔可夫特性，然而在近期视觉语言动作（VLA）范式中，人们鲜有关注这一点。虽然 VLA 成功地将来自因特网的语义理解带入机器人，但现有的 VLA 主要是“无状态”的，难以处理记忆相关的长期任务。在本工作中，我们探索了通过引入语言草稿纸（scratchpad）为 VLA 赋予空间记忆和时间记忆的办法。草稿纸可以记忆任务相关信息（如物体位置），并允许模型在该计划内跟踪子目标的进度。我们在 ClevrSkills 环境中记忆相关任务的一个子集、MemoryBench 以及一项具有挑战性的真实世界抓取与放置任务上进行评估。我们表明，引入语言草稿纸在这些任务上显著提升了非循环模型和循环模型的泛化能力。
引用
@article{arxiv.2602.21013,
title = {Notes-to-Self: Scratchpad Augmented VLAs for Memory Dependent Manipulation Tasks},
author = {Sanjay Haresh and Daniel Dijkman and Apratim Bhattacharyya and Roland Memisevic},
journal= {arXiv preprint arXiv:2602.21013},
year = {2026}
}
备注
To appear at ICRA 2026