基于多标签证据学习的开放集动作识别
计算机视觉与模式识别
2023-03-23 v1 人工智能
机器学习
摘要
现有开放集动作识别方法聚焦于假设视频片段仅展示单一动作的新颖性检测，这不符合现实世界情况。我们提出一种通过多标签证据学习（MULE）实现开放集动作识别与新颖性检测的新方法，超越以往新颖动作检测方法，处理更一般的同一场景中单或多个执行者、任意执行者同时执行动作的问题。我们的Beta证据神经网络基于执行者-上下文-物体关系表示，以Beta密度估计多动作不确定性。目标函数中加入证据去偏约束以优化，降低视频表示的静态偏置，该偏置会错误关联预测与静态线索。我们基于原始-对偶平均格式更新开发了学习算法以优化所提问题。优化算法的理论分析证明了原始解序列的收敛性，以及损失函数与去偏约束的界。我们构建了基于不确定性与置信的新颖估计机制以检测新颖动作。在两个真实世界视频数据集上的大量实验表明，所提方法在单/多执行者、单/多动作设定下均取得良好性能。
引用
@article{arxiv.2303.12698,
title = {Open Set Action Recognition via Multi-Label Evidential Learning},
author = {Chen Zhao and Dawei Du and Anthony Hoogs and Christopher Funk},
journal= {arXiv preprint arXiv:2303.12698},
year = {2023}
}
备注
Accepted by CVPR 2023