构建以自我视角为导向的程序化 AI 助手：方法、基准与挑战
计算机视觉与模式识别
2026-02-10 v2
摘要
受视觉语言模型（VLM）和自我视角感知研究近期进步的推动，本文介绍了一种新兴的主题——自我视角程序化 AI 助手（EgoProceAssist），旨在以第一人称视角逐步支持日常程序性任务。在本文中，我们通过识别 EgoProceAssist 中的三个核心任务：自我视角程序错误检测、自我视角程序学习和自我视角程序问答，然后引入两个关键维度：实时流式视频理解，以及程序化上下文中的主动交互。我们将这些任务定义为 EgoProceAssist 必不可少的功能，并说明它们如何在实际场景中用于日常活动助手。具体而言，我们涵盖了这些五个核心领域中当前技术、相关数据集和评估指标的全面综述。为阐明 EgoProceAssist 与现有基于 VLM 的助手之间的差距，我们进行了新颖的实验，提供了对代表性 VLM 方法的全面评估。通过这些发现和技术分析，我们讨论了未来的挑战，并提出了未来研究方向。此外，本研究的详尽列表已公开于一个活跃的仓库中，该仓库持续收集最新的工作：https://github.com/z1oong/Building-Egocentric-Procedural-AI-Assistant
引用
@article{arxiv.2511.13261,
title = {Building Egocentric Procedural AI Assistant: Methods, Benchmarks, and Challenges},
author = {Junlong Li and Huaiyuan Xu and Sijie Cheng and Kejun Wu and Kim-Hui Yap and Lap-Pui Chau and Yi Wang},
journal= {arXiv preprint arXiv:2511.13261},
year = {2026}
}
备注
Under peer-review