使用直接评估方法评测自动视频字幕生成
计算与语言
2018-11-21 v1
摘要
我们提出直接评估（Direct Assessment），一种用于人工评测视频自动生成字幕质量的方法。评测视频字幕的准确性尤其困难，因为对于任何给定视频片段，都没有确定的真值或正确答案可供衡量。用于比较自动视频字幕与人工字幕的自动度量，如从机器翻译评测技术借鉴而来的 BLEU 和 METEOR，在 2016 年 TRECVid 视频字幕任务中被使用，但已被证明存在缺陷。本文的工作通过众包字幕描述视频的契合程度，将人工评估引入评测。我们自动降低一些样本字幕的质量并对其进行人工评估，由此能够对人工评估者的质量进行评级，这一因素我们在评测中加以考虑。利用 2016 年 TRECVid 视频到文本任务的数据，我们展示了我们的直接评估方法具有可复现性和鲁棒性，并应能扩展到需评测大量字幕生成技术的情形。
引用
@article{arxiv.1710.10586,
title = {Evaluation of Automatic Video Captioning Using Direct Assessment},
author = {Yvette Graham and George Awad and Alan Smeaton},
journal= {arXiv preprint arXiv:1710.10586},
year = {2018}
}
备注
26 pages, 8 figures