AntPivot：基于分层注意力机制的直播高光检测
多媒体
2022-06-13 v1 计算机视觉与模式识别
摘要
近年来，流媒体技术极大推动了直播领域的发展。由于直播记录时长过长，提取高光片段以实现有效再现与再分发十分必要。尽管已有许多方法在其他模态的高光检测中被证明有效，但直播处理中存在的极端时长、大幅主题切换、大量无关信息等挑战严重阻碍了这些方法的适配与兼容。本文提出一项新任务——直播高光检测，分析上述困难，并给出一种新架构 AntPivot 以解决该问题。具体而言，我们首先将原始数据编码为多视图并建模其时间关系，以在分层注意力机制中捕捉线索；随后将高光片段检测转化为最优决策序列搜索，并利用充分融合的表示在动态规划机制中预测最终结果。此外，我们构建了全标注数据集 AntHighlight 以实例化该任务并评估模型性能。大量实验表明了所提方法的有效性与合理性。
引用
@article{arxiv.2206.04888,
title = {AntPivot: Livestream Highlight Detection via Hierarchical Attention Mechanism},
author = {Yang Zhao and Xuan Lin and Wenqiang Xu and Maozong Zheng and Zhengyong Liu and Zhou Zhao},
journal= {arXiv preprint arXiv:2206.04888},
year = {2022}
}