论生成模型的分布式评估

Zixiao Wang; Farzan Farnia; Zhenghao Lin; Yunheng Shen; Bei Yu

论生成模型的分布式评估

机器学习 2024-06-12 v4

作者: Zixiao Wang , Farzan Farnia , Zhenghao Lin , Yunheng Shen , Bei Yu

摘要

深度生成模型的评估在集中式设定下已被广泛研究，其中参考数据来自单一概率分布。另一方面，生成模型的若干应用涉及分布式设定，例如联邦学习设定，其中用于评估的参考数据由网络中多个客户端提供。本文中，我们研究此类客户端间可能存在异构数据分布的分布式语境下生成模型的评估。我们聚焦于广泛使用的基于距离的评估指标：Fréchet Inception Distance (FID) 与 Kernel Inception Distance (KID)。对于 KID 指标，我们证明使用客户端平均 KID 分数对一组生成模型评分，将产生与在包含所有客户端数据的集体参考集上进行集中式 KID 评估相同的排序。相反，我们表明该结论不适用于基于 FID 的评估。我们给出若干例子，其中在分布式设定下两个生成模型被各客户端赋予相同 FID 分数，而两模型的集中式 FID 分数却显著不同。我们在标准图像数据集与生成模型上进行了若干数值实验，以支持我们关于使用 FID 与 KID 分数进行生成模型分布式评估的理论结果。

关键词

生成模型评估分布式设定 Fréchet Inception Distance Kernel Inception Distance 异构数据联邦学习

引用

@article{arxiv.2310.11714,
  title  = {On the Distributed Evaluation of Generative Models},
  author = {Zixiao Wang and Farzan Farnia and Zhenghao Lin and Yunheng Shen and Bei Yu},
  journal= {arXiv preprint arXiv:2310.11714},
  year   = {2024}
}

备注

26 pages, 22 figures

论生成模型的分布式评估

摘要

关键词

引用

备注

相关论文