多模态摘要的细粒度且可解释的事实性评估
计算与语言
2025-12-01 v5
摘要
多模态摘要旨在基于输入文本和图像生成简洁的摘要。然而，现有方法可能会产生不事实的输出。为了评估多模态摘要模型的事实性，我们针对不同的应用场景提出了两个细粒度且可解释的评估框架（FALLACIOUS），即基于参考的事实性评估框架和无参考的事实性评估框架。值得注意的是，无参考的事实性评估框架不需要真实值（ground truth），因此具有更广泛的应用场景。为了评估所提框架的有效性，我们计算了我们的框架与其他指标之间的相关性。实验结果表明了我们所提方法的有效性。我们将通过 github 发布我们的代码和数据集。
引用
@article{arxiv.2402.11414,
title = {Fine-grained and Explainable Factuality Evaluation for Multimodal Summarization},
author = {Yue Zhang and Jingxuan Zuo and Ke Su and Liqiang Jing},
journal= {arXiv preprint arXiv:2402.11414},
year = {2025}
}
备注
project link: https://github.com/for4WARD/FaithfulnessEvaluation