基于熵的生成模型新颖性的可解释评估

Jingwei Zhang; Cheuk Ting Li; Farzan Farnia

基于熵的生成模型新颖性的可解释评估

机器学习 2024-06-17 v2 计算机视觉与模式识别机器学习

作者: Jingwei Zhang , Cheuk Ting Li , Farzan Farnia

摘要

生成模型框架的巨大发展需要原则性的方法来评估模型相对于参考数据集的新颖性。虽然文献已广泛研究了生成模型的质量、多样性和泛化能力评估，但机器学习社区尚未充分探索模型相对于参考模型的新颖性评估。本文聚焦于多模态分布的新颖性评估，试图解决以下差异聚类任务：给定生成模型 $P_\mathcal{G}$ 和参考模型 $P_\mathrm{ref}$ 的样本，如何发现 $P_\mathcal{G}$ 比 $P_\mathrm{ref}$ 更频繁表达的样本类型？我们引入了一种针对差异聚类任务的谱方法，并提出了基于核的熵新颖性（Kernel-based Entropic Novelty, KEN）分数，以量化 $P_\mathcal{G}$ 相对于 $P_\mathrm{ref}$ 的基于模态的新颖性。我们分析了具有良好可分成分的混合分布的 KEN 分数，并开发了一种基于核的方法从经验数据中计算 KEN 分数。我们通过在合成和真实图像数据集上的数值结果支持了 KEN 框架，表明该框架在检测新颖模态和比较生成模型方面的有效性。论文代码地址：www.github.com/buyeah1109/KEN

关键词

生成模型新颖性评估差异聚类基于核的熵新颖性谱方法多模态分布模态检测

引用

@article{arxiv.2402.17287,
  title  = {An Interpretable Evaluation of Entropy-based Novelty of Generative Models},
  author = {Jingwei Zhang and Cheuk Ting Li and Farzan Farnia},
  journal= {arXiv preprint arXiv:2402.17287},
  year   = {2024}
}

基于熵的生成模型新颖性的可解释评估

摘要

关键词

引用

相关论文