使用循环一致未来预测的时域平滑在线动作检测
计算机视觉与模式识别
2021-04-19 v1
摘要
许多视频理解任务在离线设定下工作，假设输入视频从开始到结束已给定。然而，许多现实问题需要在线设定，仅使用视频的当前和过去帧立即做出决策，例如自动驾驶和监控系统。在本文中，我们提出了一种用于在线动作检测的新颖解决方案，使用一种简单而有效的基于 RNN 的网络，称为未来预测与时域平滑网络(FATSnet)。所提网络包含一个可借助循环一致性损失以无监督方式训练的未来预测模块，以及另一个用于聚合过去与未来以进行时域平滑逐帧预测的组件。我们还提出了一种缓解基于 RNN 的模型在极长序列上运行时的性能损失的方法。在 TVSeries、THUMOS14 和 BBDB 上的评估表明，我们的方法相较于先前在线动作检测的工作取得了 SOTA 性能。
引用
@article{arxiv.2104.08030,
title = {Temporally smooth online action detection using cycle-consistent future anticipation},
author = {Young Hwi Kim and Seonghyeon Nam and Seon Joo Kim},
journal= {arXiv preprint arXiv:2104.08030},
year = {2021}
}
备注
Accepted by Pattern Recognition