EgoAdapt：面向真实世界自我中心用户视频自适应的多数据流评测研究
计算机视觉与模式识别
2023-07-13 v1 人工智能
摘要
在自我中心动作识别中，通常训练一个单一群体模型，随后将其部署于头戴式设备（如增强现实头显）上。当该模型面对新用户与新环境时保持静态，我们引入了一种两阶段自适应范式：在预训练群体模型后，模型在设备端在线适应用户的经验。由于从群体域到用户域的变化以及用户数据流中的分布偏移，该设定极具挑战性。应对后者（即流内分布偏移）是持续学习的焦点，其进展根植于受控基准，但真实世界应用中所面临的挑战往往未被解决。我们提出 EgoAdapt，一个面向真实世界自我中心动作识别的基准，支持我们的两阶段自适应范式，并且来自 Ego4d 的自我中心视频流中自然出现了真实世界挑战，例如长尾动作分布与覆盖 2740 个动作的大规模分类。我们引入了一个评测框架，直接利用用户数据流，并采用新指标来衡量相对于群体模型的自适应增益、在线泛化能力与后见性能。与现有工作中的单数据流评测不同，我们的框架提出了一种元评测，聚合来自 50 条独立用户数据流的结果。我们针对微调与经验回放给出了广泛的实证研究。
引用
@article{arxiv.2307.05784,
title = {EgoAdapt: A multi-stream evaluation study of adaptation to real-world egocentric user video},
author = {Matthias De Lange and Hamid Eghbalzadeh and Reuben Tan and Michael Iuzzolino and Franziska Meier and Karl Ridgeway},
journal= {arXiv preprint arXiv:2307.05784},
year = {2023}
}
备注
Preprint