Pro$^2$Assist：面向长时程程序化任务的基于多模态自我中心感知的连续步骤感知主动辅助
人工智能
2026-05-07 v1 人机交互
摘要
具有多个有序步骤的程序化任务在日常生活中无处不在。多模态大语言模型（MLLM）的最新进展使支持日常活动的个人助理成为可能。然而，现有系统主要提供由用户查询触发的被动指导，或针对孤立的短期事件而非长时程程序化任务提供有限的主动辅助。在这项工作中，我们引入了 ProAssist，一种步骤感知的主动助理，它持续跟踪细粒度的任务进度，并基于用户不断演变的状态进行推理，以在整个任务过程中提供及时的辅助。ProAssist 利用来自增强现实（AR）眼镜的多模态数据来实现基于运动的感知。然后，它从多尺度时间动态和特定任务的专家知识中提取面向步骤的程序化上下文。基于感官输入和程序化上下文，ProAssist 执行连续推理以推断用户需求，并在 AR 眼镜上显示及时的辅助。我们使用从公共来源策划的数据集和在我们的测试平台上使用 AR 眼镜收集的真实世界数据集对 ProAssist 进行了评估。大量评估表明，ProAssist 在程序化动作理解准确率上比表现最佳的基线高出 21% 以上，并且其主动时机准确率最高达到基线的 2.29 倍。一项有 20 名参与者的用户研究进一步表明，90% 的人认为 ProAssist 有用，证明了其对真实世界程序化辅助的有效性。
引用
@article{arxiv.2605.04227,
title = {Pro$^2$Assist: Continuous Step-Aware Proactive Assistance with Multimodal Egocentric Perception for Long-Horizon Procedural Tasks},
author = {Lilin Xu and Bufang Yang and Siyang Jiang and Kaiwei Liu and Kaiyuan Hou and Yuang Fan and Hongkai Chen and Zhenyu Yan and Xiaofan Jiang},
journal= {arXiv preprint arXiv:2605.04227},
year = {2026}
}