重新思考视频摘要的评估方法

视频摘要是一种在保留主要故事/内容的同时生成原始视频简短概览的技术。由于可用材料的快速增长，自动化这一过程存在大量需求。近期的进展得益于公共基准数据集，其实现了方法的简便且公平的比较。当前既定的评估协议是将生成的摘要与数据集提供的一组参考摘要进行比较。本文中，我们将使用两个流行的基准数据集对该流程进行深入的评估。令人惊讶的是，我们观察到随机生成的摘要在性能上可与最先进方法相媲美甚至更优。在某些情况下，在留一法实验中随机摘要甚至优于人工生成的摘要。此外，结果表明常被视为固定预处理方法的视频分割对性能度量影响最为显著。基于我们的观察，我们提出了评估重要性分数的替代方法，以及估计打分与人类标注之间相关性的直观可视化。