基于分层强化学习的弱监督视频摘要
计算机视觉与模式识别
2020-03-03 v2 机器学习
多媒体
摘要
基于强化学习的传统视频摘要方法存在仅在整段摘要生成后才能获得奖励的问题。此类奖励是稀疏的，使得强化学习难以收敛。另一个问题是标注每一帧繁琐且昂贵，通常阻碍了大规模数据集的构建。为解决这些问题，我们提出一种弱监督分层强化学习框架，将整体任务分解为若干子任务以提升摘要质量。该框架由管理器网络与工作者网络组成。对于每个子任务，管理器仅通过任务级二值标签训练以设定子目标，所需标签远少于传统方法。在子目标引导下，工作者根据全局奖励与新定义的子奖励，通过策略梯度预测子任务中视频帧的重要性分数，从而克服稀疏问题。在两个基准数据集上的实验表明，我们的方案取得了最佳性能，甚至优于有监督方法。
引用
@article{arxiv.2001.05864,
title = {Weakly Supervised Video Summarization by Hierarchical Reinforcement Learning},
author = {Yiyan Chen and Li Tao and Xueting Wang and Toshihiko Yamasaki},
journal= {arXiv preprint arXiv:2001.05864},
year = {2020}
}
备注
mmasia 2019 accepted