MINI-Net：用于视频精彩片段检测的多示例排序网络
计算机视觉与模式识别
2020-08-14 v2 机器学习
图像与视频处理
摘要
我们解决弱监督视频精彩片段检测问题，即学习检测训练视频中更具吸引力的片段，给定其视频事件标签，但无需标注精彩片段的人工昂贵监督。尽管手动回避了定位精彩片段，弱监督建模仍具挑战性，因为日常生活中的视频可能包含多种事件类型的精彩片段，例如滑雪和冲浪。本工作中，我们提出将给定特定事件的弱监督视频精彩片段检测建模为一个多示例排序网络（MINI-Net）学习问题。我们将每个视频视为片段的包，因此，所提MINI-Net学习使包含特定事件精彩片段的正包比无关的负包获得更高的精彩分数。特别地，我们构造一个最大-最大排序损失，以获取最可能正片段实例与最难负片段实例之间可靠的相对比较。借助该最大-最大排序损失，我们的MINI-Net有效利用所有片段信息，获得更鲜明的视频特征表示，以定位视频中特定事件的精彩片段。在三个具挑战性的公开基准上的广泛实验结果清晰验证了我们的多示例排序方法解决该问题的有效性。
引用
@article{arxiv.2007.09833,
title = {MINI-Net: Multiple Instance Ranking Network for Video Highlight Detection},
author = {Fa-Ting Hong and Xuanteng Huang and Wei-Hong Li and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2007.09833},
year = {2020}
}