生成模型的领域无关与多层次评估
机器学习
2023-01-24 v1 人工智能
信息论
math.IT
摘要
尽管生成模型在图像、文本、图、分子等不同领域的能力大幅提升，其评估指标在很大程度上仍基于简化的量值或人工检查，实用性有限。为此，我们提出了一种可跨领域使用的生成模型多层次性能评估框架（MPEGO）。MPEGO 旨在分层量化生成性能，从基于子特征的低级评估到基于全局特征的高级评估。MPEGO 具有高度可定制性，因为所采用的特征完全由用户驱动，因此可高度针对特定领域/问题，同时可任意复杂（例如实验流程的结果）。我们使用材料发现领域多个数据集上的多种生成模型对 MPEGO 进行了验证。并进行了消融研究以考察 MPEGO 中间步骤的合理性。结果表明，MPEGO 提供了一个灵活、用户驱动、多层次的评估框架，并对生成质量给出了实用见解。该框架、源代码与实验将在 https://github.com/GT4SD/mpego 提供。
引用
@article{arxiv.2301.08750,
title = {Domain-agnostic and Multi-level Evaluation of Generative Models},
author = {Girmaw Abebe Tadesse and Jannis Born and Celia Cintas and William Ogallo and Dmitry Zubarev and Matteo Manica and Komminist Weldemariam},
journal= {arXiv preprint arXiv:2301.08750},
year = {2023}
}