扩充实例特定与类特定信息以用于开放集动作识别
计算机视觉与模式识别
2023-03-29 v1
摘要
开放集动作识别旨在拒绝超出训练集分布范围的未知人体动作样本。现有方法主要关注学习更好的不确定性分数，却忽视了特征表示的重要性。我们发现，在相同的不确定性分数下，具有更丰富语义多样性的特征能显著提升开放集性能。本文中，我们首先基于信息瓶颈 (IB) 理论分析开放集动作识别 (OSAR) 问题中的特征表示行为，并提出扩充特征中所包含的实例特定 (IS) 与类特定 (CS) 信息以获得更好性能。为此，我们提出一种新颖的原型相似度学习 (PSL) 框架，以保持同类内的实例方差从而保留更多 IS 信息。此外，我们注意到与已知样本外观相似的未知样本容易被误分类为已知类。为缓解该问题，我们在 PSL 中进一步引入视频打乱，以学习原始与打乱样本之间不同的时间信息，我们发现这扩充了 CS 信息。大量实验表明，所提出的 PSL 能显著提升开放集与闭集性能，并在多个基准上取得最优 (state-of-the-art) 结果。代码见 https://github.com/Jun-CEN/PSL。
引用
@article{arxiv.2303.15467,
title = {Enlarging Instance-specific and Class-specific Information for Open-set Action Recognition},
author = {Jun Cen and Shiwei Zhang and Xiang Wang and Yixuan Pei and Zhiwu Qing and Yingya Zhang and Qifeng Chen},
journal= {arXiv preprint arXiv:2303.15467},
year = {2023}
}
备注
To appear at CVPR2023