视频印记
计算机视觉与模式识别
2021-06-08 v1
摘要
提出一种统一的视频分析框架（ER3）用于复杂事件检索、识别与复述，其基于所提出的视频印记表示，该表示利用了跨视频帧图像特征间的时间相关性。借助视频印记表示，可便捷地反向映射回视频帧中的时间与空间位置，从而实现关键帧识别与每帧内关键区域定位。在所提框架中，引入专用的特征对齐模块以去除跨帧冗余，生成张量表示即视频印记。随后，视频印记被分别输入推理网络与特征聚合模块，分别用于事件识别/复述与事件检索任务。得益于受语言建模中记忆网络启发的注意力机制，所提推理网络能够同时进行事件类别识别与用于事件复述的关键证据定位。此外，我们推理网络中的潜在结构高亮了视频印记的区域，可直接用于事件复述。在事件检索任务中，从视频印记聚合的紧凑视频表示比现有最先进方法取得了更好的检索结果。
引用
@article{arxiv.2106.03283,
title = {Video Imprint},
author = {Zhanning Gao and Le Wang and Nebojsa Jojic and Zhenxing Niu and Nanning Zheng and Gang Hua},
journal= {arXiv preprint arXiv:2106.03283},
year = {2021}
}