自动图像描述中的改进空间：错误分析
计算与语言
2017-04-14 v1
摘要
近年来，我们在自动图像描述方面取得了快速而显著的进展，但该领域存在的开放性问题是什么？大多数工作使用基于文本的相似度度量进行评估，这些度量仅表明有所改进，却未解释改进了什么。在本文中，我们对最先进的基于注意力（attention-based）模型生成的描述进行了详细的错误分析。我们的分析在两个层面上进行：首先我们检查描述的准确性，然后对在不准确描述中观察到的错误类型进行分类。我们发现仅有 20% 的描述无错误，且令人惊讶的是 26% 与图像无关。最后，我们手动纠正最频繁出现的错误类型（例如性别识别），以估计解决这些错误带来的性能收益，观察到每类错误有 0.2--1 个 BLEU 点的提升。
引用
@article{arxiv.1704.04198,
title = {Room for improvement in automatic image description: an error analysis},
author = {Emiel van Miltenburg and Desmond Elliott},
journal= {arXiv preprint arXiv:1704.04198},
year = {2017}
}
备注
Submitted