GROOViST：一种视觉叙事中物体接地程度的评价指标
人工智能
2023-10-30 v1 计算与语言
计算机视觉与模式识别
机器学习
摘要
对为图像序列生成的故事——通常称为视觉叙事的任务——进行恰当评估，必须考虑连贯性、语法正确性以及视觉接地等多方面因素。本工作中，我们聚焦于评估接地程度，即故事在多大程度上是关于图像中所示实体。我们分析了当前专为此目的及通用视觉-文本对齐设计的指标。鉴于其所观察到的缺陷，我们提出一种新颖评估工具 GROOViST，其考虑了跨模态依赖、时间错位（故事中实体出现顺序与图像序列可能不匹配）以及人类对视觉接地的直觉。GROOViST 的另一优势是其模块化设计，各部分的贡献可单独评估与解释。
引用
@article{arxiv.2310.17770,
title = {GROOViST: A Metric for Grounding Objects in Visual Storytelling},
author = {Aditya K Surikuchi and Sandro Pezzelle and Raquel Fernández},
journal= {arXiv preprint arXiv:2310.17770},
year = {2023}
}
备注
In EMNLP 2023 main conference proceedings (to appear)