用于生成式评估的反事实编辑
计算机视觉与模式识别
2024-05-06 v1 人工智能
摘要
尽管生成式架构激增,生成模型评估仍是一个代表性不足领域。多数近期模型基于相当过时的指标评估,这些指标存在鲁棒性问题,且无法评估合成视觉质量的更多方面,如组合性与合成逻辑。同时,生成模型的可解释性仍是一个有限但重要的研究方向,当前若干尝试需访问生成模型内部功能。与已有文献相反,我们将生成模型视为黑盒,并提出一种基于概念而非像素的合成结果评估与解释框架。我们的框架利用基于知识的反事实编辑,标明应从生成图像中插入、移除或替换哪些对象或属性以逼近其真实条件。此外,通过累积局部编辑产生的全局解释也能揭示模型总体上无法生成哪些概念。我们的框架在面向故事可视化与场景合成挑战性任务的各种模型上的应用,验证了我们在模型无关设定下方法的有效性。
引用
@article{arxiv.2303.01555,
title = {Counterfactual Edits for Generative Evaluation},
author = {Maria Lymperaiou and Giorgos Filandrianos and Konstantinos Thomas and Giorgos Stamou},
journal= {arXiv preprint arXiv:2303.01555},
year = {2024}
}