用于从叙述式演示建模协作物理活动的交互式程序合成
人工智能
2026-04-13 v3 人机交互
机器学习
摘要
教授系统物理任务是人机交互领域长期以来的目标，但此前大多数工作都聚焦于非协作物理活动。协作任务引入了额外的复杂性，要求系统推断用户对队友意图的假设，这是一个本质上模糊且动态的过程。这需要可解释且可纠正的表示，使用户能够检查和修正系统行为。我们通过将协作任务学习框定为程序合成问题来应对这一挑战。我们的系统将行为表示为可编辑程序，并使用叙述式演示——即配对的物理动作和自然语言——作为教学、检查和修正系统逻辑的统一模态，而无需用户查看或编写代码。同一模态也用于系统向用户传达其学习成果。在一项被试内研究中，20 名用户向我们的系统教授多人足球战术。70%（14/20）的参与者成功完善了学到的程序以匹配其意图，90%（18/20）发现纠正程序很容易。该研究揭示了在将学习表示为程序以及让用户教授协作物理活动方面的独特挑战。我们讨论了这些问题并概述了缓解策略。
引用
@article{arxiv.2509.24250,
title = {Interactive Program Synthesis for Modeling Collaborative Physical Activities from Narrated Demonstrations},
author = {Edward Kim and Daniel He and Jorge Chao and Wiktor Rajca and Mohammed Amin and Nishant Malpani and Ruta Desai and Antti Oulasvirta and Bjoern Hartmann and Sanjit Seshia},
journal= {arXiv preprint arXiv:2509.24250},
year = {2026}
}