重建 Humpty Dumpty：用于开集动作识别的多特征图自编码器
计算机视觉与模式识别
2022-12-13 v1
摘要
大多数动作识别数据集和算法假设一个封闭世界，其中所有测试样本都是已知类别的实例。在开集问题中，测试样本可能来自已知或未知类别。现有的开集动作识别方法通常基于扩展封闭集方法，通过添加对分类分数或特征距离的事后分析，并且没有捕捉所有视频片段元素之间的关系。我们的方法使用重建误差来确定视频的新颖性，因为未知类别更难被重新拼合，因此比来自已知类别的视频具有更高的重建误差。由于其重建能力，我们将开集动作识别问题的解决方案称为“Humpty Dumpty”。Humpty Dumpty 是一种新颖的基于图的自编码器，它考虑片段各部分之间的上下文和语义关系以改进重建。更大的重建误差导致动作无法被重建（即无法将 Humpty Dumpty 重新拼合）的可能性增加，表明该动作以前从未见过且是新颖/未知的。在两个公开可用的动作识别数据集（包括 HMDB-51 和 UCF-101）上进行了大量实验，展示了开集动作识别的最先进性能。
引用
@article{arxiv.2212.06023,
title = {Reconstructing Humpty Dumpty: Multi-feature Graph Autoencoder for Open Set Action Recognition},
author = {Dawei Du and Ameya Shringi and Anthony Hoogs and Christopher Funk},
journal= {arXiv preprint arXiv:2212.06023},
year = {2022}
}
备注
Accepted to WACV 2023