SMURF：基于典型性分析的语义与语言理解融合的图像描述评测
计算与语言
2022-01-11 v2 计算机视觉与模式识别
摘要
视觉描述的开端开放特性使其成为一个具有挑战性的评测领域。大多数已提出的模型依赖专门的训练来提升与人类判断的相关性，导致采用范围、泛化能力和可解释性有限。我们引入“典型性”（typicality），一种根植于信息论的评测新表述，它独特地适用于缺乏确定真值的问题。典型性作为我们的框架，用以开发一种新颖的语义比较方法 SPARCS，以及无参考流畅度评测指标。在我们的分析过程中，流畅度的两个独立维度自然浮现：由指标 SPURTS 捕捉的风格，以及以语法离群惩罚形式体现的语法。通过在基准数据集上的大量实验和消融研究，我们展示了这些分解的语义与流畅度维度如何为描述生成器之间的差异提供更深层的系统级洞察。我们提出的指标及其组合 SMURF，在与其他基于规则的评测指标比较时，实现了与人类判断的 SOTA（最优）相关性。
引用
@article{arxiv.2106.01444,
title = {SMURF: SeMantic and linguistic UndeRstanding Fusion for Caption Evaluation via Typicality Analysis},
author = {Joshua Feinglass and Yezhou Yang},
journal= {arXiv preprint arXiv:2106.01444},
year = {2022}
}
备注
Accepted to and presented at ACL 2021 Main Conference (Oral)