音频在音视频视频摘要中的作用
计算机视觉与模式识别
2022-12-05 v1 多媒体
声音
音频与语音处理
摘要
视频摘要因高效的视频表示、检索与浏览而受关注，以缓解数据量与流量激增问题。尽管视频摘要多利用视觉通道进行压缩，近期文献中出现了音视频建模的益处。来自音频通道的信息可能是视频内容中音视频相关性的结果。本研究中，我们提出一种新音视频视频摘要框架，将四种音视频信息融合方式与基于 GRU 及基于注意力的网络相整合。此外，我们探究一种利用音视频典型相关分析(CCA)的新可解释性方法，以更好理解与解释音频在视频摘要任务中的作用。在 TVSum 数据集上的实验评估取得了音视频视频摘要的 F1 分数与 Kendall-tau 分数提升。进一步，基于音视频 CCA 将 TVSum 与 COGNIMUSE 数据集的视频内容划分为正相关与负相关视频，相较于正相关视频，在仅音频与音视频视频摘要上均带来显著性能提升。
引用
@article{arxiv.2212.01040,
title = {Role of Audio in Audio-Visual Video Summarization},
author = {Ibrahim Shoer and Berkay Kopru and Engin Erzin},
journal= {arXiv preprint arXiv:2212.01040},
year = {2022}
}