Ego-EXTRA：面向专家-学习者辅助的视频语言化元数据集
计算机视觉与模式识别
2025-12-16 v1
摘要
我们提出Ego-EXTRA，一个用于专家-学习者辅助的视频语言化元数据集。Ego-EXTRA包含50小时未脚本化的化元数据集，记录主体在专家提供指导和使用自然语言回答特定问题的情况下执行程序性活动（学习者）的情形。遵循“异来者”数据收集范式，专家扮演一个可穿戴智能助手的角色，从化元视角专注于学习者所执行的活动，在学习者提问时提供答案，或在程序执行期间主动与建议进行交互。这种独特的数据收集协议使Ego-EXTRA能够捕捉到专家水平反馈被提供给学习者的高质量对话。在专家和学习者之间进行的双向对话被记录、转录，并用于创建包括超过15k个高质量视觉问题答案集合的新基准，用于评估多模态大型语言模型。结果表明，Ego-EXTRA具有挑战性，并凸显了当前模型在用于为用户提供专家水平辅助时存在的局限性。Ego-EXTRA数据集已公开可用，以支持化元视频语言助手的基准测试：https://fpv-iplab.github.io/Ego-EXTRA/。
引用
@article{arxiv.2512.13238,
title = {Ego-EXTRA: video-language Egocentric Dataset for EXpert-TRAinee assistance},
author = {Francesco Ragusa and Michele Mazzamuto and Rosario Forte and Irene D'Ambra and James Fort and Jakob Engel and Antonino Furnari and Giovanni Maria Farinella},
journal= {arXiv preprint arXiv:2512.13238},
year = {2025}
}