基于变分推断的小样本活动识别
计算机视觉与模式识别
2021-08-23 v1 机器学习
摘要
近年来，在仅用少量标注样本即可识别新类别模型的学习方面取得了显著进展。用于动作识别的小样本学习（FSL）是一项具有挑战性的任务，即识别训练数据中仅有少量实例表示的新动作类别。我们提出了一种新颖的基于变分推断的架构框架（HF-AR）用于小样本活动识别。我们的框架利用保体积 Householder 流来学习新类别的灵活后验分布。与最先进的小样本人体活动识别方法相比，这带来了更好的性能。我们的方法由基模型和适配器模型组成。我们的架构由一个基模型和一个适配器模型组成。基模型在已见类别上训练，并计算表示从输入视频中提取的空间和时间特征的嵌入，例如 Resnet-152 和基于 LSTM 的编码器-解码器模型的组合。适配器模型应用一系列 Householder 变换来计算灵活的后验分布，从而在小样本方法中获得更高的准确率。在三个知名数据集 UCF101、HMDB51 和 Something-Something-V2 上的大量实验表明，与使用仅 RGB 帧序列作为输入的先进小样本方法相比，在 1-shot 和 5-shot 分类上取得了相当或更好的性能。据我们所知，我们首次探索将变分推断与 Householder 变换结合以捕获后验分布的满秩协方差矩阵，用于活动识别中的小样本学习。
引用
@article{arxiv.2108.08990,
title = {Few Shot Activity Recognition Using Variational Inference},
author = {Neeraj Kumar and Siddhansh Narang},
journal= {arXiv preprint arXiv:2108.08990},
year = {2021}
}
备注
Accepted in IJCAI 2021 - 3RD INTERNATIONAL WORKSHOP ON DEEP LEARNING FOR HUMAN ACTIVITY RECOGNITION. arXiv admin note: text overlap with arXiv:1611.09630, arXiv:1909.07945 by other authors