T-RECS：通过控制速度训练速率不变嵌入以用于动作识别
计算机视觉与模式识别
2018-03-26 v2
摘要
一个动作在改变其速度时应保持可识别性：考虑专业厨师与新手厨师各自切洋葱的对比。在此，我们预期与专业厨师相比，新手厨师切洋葱的方式相对从容且缓慢。一般而言，执行动作的速度，无论是慢于还是快于平均速度，都不应决定其被识别的方式。我们探讨了这一现象对基于深度网络的最先进动作识别方法所造成的不稳定行为，评估指标为在一系列输入视频速度下的最大性能与识别准确率的稳定性。通过观察这些指标的趋势，并根据输入视频速度变化所预期的时间行为对其进行总结，我们发现了两种不同类型的网络架构。在本文中，我们提出了一种名为 T-RECS 的预处理方法，以此扩展现有的基于深度网络的动作识别方法，使其能够显式地处理数据中的速度可变性。我们通过自适应地重采样给定模型的输入来实现这一点。T-RECS 与特定的深度网络模型无关；我们将其应用于四种最先进的动作识别架构：C3D、I3D、TSN 和 ConvNet+LSTM。在 HMDB51 和 UCF101 数据集上，基于 T-RECS 的 I3D 模型相较于基线性能峰值提升了至少 2.9%，而基于 T-RECS 的 C3D 模型在 HMDB51 数据集上相较于基线在稳定性方面最高提升了 59%。
引用
@article{arxiv.1803.08094,
title = {T-RECS: Training for Rate-Invariant Embeddings by Controlling Speed for Action Recognition},
author = {Madan Ravi Ganesh and Eric Hofesmann and Byungsu Min and Nadha Gafoor and Jason J. Corso},
journal= {arXiv preprint arXiv:1803.08094},
year = {2018}
}