开放世界中的人类活动识别
摘要
在基于感知的人类活动识别（HAR）中处理新颖性，对于在真实场景中随时间提升任务性能并确保解决方案在已见样本之外的泛化能力至关重要。新颖性在 HAR 中表现为未见样本、活动、物体、环境和传感器变化等多种形式。新颖性可能是任务相关的，如新类别或新特征，也可能是任务无关的从而构成干扰新颖性，如前所未见的噪声、模糊或失真视频记录。为最优地执行 HAR，算法解决方案必须对干扰新颖性具有容忍度，并能在新颖性面前随时间学习。本文 1）在先前分类任务新颖性定义基础上形式化了 HAR 中新颖性的定义，2）提出一种增量开放世界学习（OWL）协议并将其应用于 Kinetics 数据集以生成新基准 KOWL-718，3）分析了当前 SOTA HAR 模型在随时间引入新颖性时的性能，4）提供了一个容器化打包流水线用于复现 OWL 协议并修改以适配 Kinetics 的未来更新。实验分析包括由 Kinetics-AVA 标注的各模型在不同条件下的消融研究。用于使用 KOWL-718 基准复现实验的协议算法将在 https://github.com/prijatelj/human-activity-recognition-in-an-open-world 公开发布代码与容器。该代码可用于以增量开放世界方式分析 Kinetics 数据集的不同标注与子集，并可在 Kinetics 进一步更新发布时扩展。
引用
@article{arxiv.2212.12141,
title = {Human Activity Recognition in an Open World},
author = {Derek S. Prijatelj and Samuel Grieggs and Jin Huang and Dawei Du and Ameya Shringi and Christopher Funk and Adam Kaufman and Eric Robertson and Walter J. Scheirer},
journal= {arXiv preprint arXiv:2212.12141},
year = {2025}
}
备注
37 pages, 16 figures, 3 tables. Published in JAIR 81 on Dec 20, 2024. All author affiliations are from during the paper's original funded work. Updated info and current emails are provided in this version's first page