人类动作序列分类
计算机视觉与模式识别
2019-10-08 v1
摘要
本文利用机器翻译模型对视频中的人类动作序列进行分类。与输出动作集合的经典人体动作分类不同，我们的方法按人所执行动作的时间顺序输出动作序列。因此，我们的方法使用双语互译评估辅助工具（BLEU）分数等序列性能指标进行评估。动作序列分类具有诸多应用，如示范学习、动作分割、检测、定位与视频字幕生成。此外，我们利用训练为输出动作序列的模型解决下游任务，如视频字幕生成与动作定位。我们在具有挑战性的 Charades 数据集上取得视频字幕生成的当前最优结果，BLEU-4 分数达 34.8，METEOR 分数达 33.6，分别优于先前最优的 18.8 与 19.5。类似地，在 ActivityNet 字幕生成上，我们于 ROUGE（20.24）与 CIDER（37.58）分数上取得优异结果。对于动作定位，在不使用任何显式起止动作标注的情况下，我们的方法取得 22.2 mAP 的定位性能，优于先前的全监督方法。
引用
@article{arxiv.1910.02602,
title = {Human Action Sequence Classification},
author = {Yan Bin Ng and Basura Fernando},
journal= {arXiv preprint arXiv:1910.02602},
year = {2019}
}