面向可见光到红外跨数据集人体动作识别的可迁移特征表示
计算机视觉与模式识别
2019-09-19 v1
摘要
近年来，红外人体动作识别因相比可见光具有对光照变化和阴影鲁棒等诸多优势而受到越来越多的关注。然而，目前红外动作数据有限，这降低了红外动作识别的性能。受迁移学习思想启发，本文提出一种利用可见光辅助数据的红外人体动作识别框架，以解决红外动作数据匮乏的问题。在该框架中，我们首先构建一种新颖的跨数据集特征对齐与泛化（CDFAG）框架，将红外数据与可见光数据映射到公共特征空间，其中采用核流形对齐（KEMA）与双对齐到泛化编码器（AGE）模型来表征特征。然后，利用红外数据与可见光数据训练支持向量机（SVM），该机能够对源自红外数据的特征进行分类。所提方法在公开可用的红外人体动作数据集 InfAR 上进行评估。为构建辅助数据，我们建立了一个新颖的可见光动作数据集 XD145。实验结果表明，与多种迁移学习与域自适应方法相比，所提方法取得了最先进的性能。
引用
@article{arxiv.1909.08297,
title = {Transferable Feature Representation for Visible-to-Infrared Cross-Dataset Human Action Recognition},
author = {Yang Liu and Zhaoyang Lu and Jing Li and Chao Yao and Yanzi Deng},
journal= {arXiv preprint arXiv:1909.08297},
year = {2019}
}
备注
Published in Complexity(JCR Rank 1, IF:4.621),codes can be found at https://yangliu9208.github.io/CDFAG/