论文探讨数据在开放集态身辅助中的优势与局限
机器人学
2026-03-06 v1 人工智能
机器学习
摘要
态身基础模型在机器人或自动驾驶等实际领域表现日益突出。这些模型常部署于交互式或辅助性场景中，此时需确保这些辅助模型对新用户和新任务具备良好泛化能力。多样化的交互式数据生成为提供数据高效泛化能力的交互式态身基础模型提供了可行之路。本文探讨了在合成领域中，对基于多模态基础模型在多样化交互式辅助数据上的微调，所实现的泛化能力。我们沿两个维度探索泛化路径：a) 处理未见过的用户行为类别，b) 在训练期间未遇到的新配置下提供指导。我们研究了一种广义能力，即“开放集纠正性辅助”，该任务要求模型检查 lengthy 用户行为，并通过纠正动作或基于语言的反馈提供辅助。此前工作通常假设封闭式纠正类别或依赖外部规划器，使其成为评估辅助数据极限的具挑战性测试环境。为支持此任务，我们在 Overcooked 中生成合成辅助数据集，并微调基于 LLaMA 的模型以评估对新任务和用户行为的泛化。我们的ethods 提供了关于启用开放集态身智能所需辅助数据本质的关键见解。特别是，我们表明表现良好的模型从覆盖辅助不同方面的数据集中受益，包括多模态锚定、缺陷推断以及对多样化情景的暴露。
引用
@article{arxiv.2603.04819,
title = {On the Strengths and Weaknesses of Data for Open-set Embodied Assistance},
author = {Pradyumna Tambwekar and Andrew Silva and Deepak Gopinath and Jonathan DeCastro and Xiongyi Cui and Guy Rosman},
journal= {arXiv preprint arXiv:2603.04819},
year = {2026}
}