基于 RNN 的由细到粗建模的弱监督动作学习
计算机视觉与模式识别
2017-10-10 v3
摘要
我们提出了一种用于人类动作弱监督学习的方法。给定一组视频及其中发生动作的有序列表，目标是推断视频中相关动作类别的起始和结束帧，并训练相应的动作分类器，而无需任何手工标注的帧边界。为了解决这一任务，我们提出了一种结合方案：由循环神经网络建模的子动作的判别性表示，以及一个粗粒度概率模型，以实现对长序列的时间对齐和推断。虽然该系统本身已经能产生良好的结果，但我们表明，通过使子动作的数量逼近不同动作类别的特征，可以进一步提高性能。为此，我们在训练期间通过迭代重对齐和重估计来调整子动作类别的数量。所提出的系统在两个基准数据集（Breakfast 和 Hollywood extended 数据集）上进行了评估，在诸如时间动作分割和动作对齐等多种弱学习任务上展示了具有竞争力的性能。
引用
@article{arxiv.1703.08132,
title = {Weakly Supervised Action Learning with RNN based Fine-to-coarse Modeling},
author = {Alexander Richard and Hilde Kuehne and Juergen Gall},
journal= {arXiv preprint arXiv:1703.08132},
year = {2017}
}