EBM 生命周期：用于合成、防御与密度建模的 MCMC 策略
机器学习
2022-05-25 v1 机器学习
摘要
本工作提出依据所需 MCMC 采样轨迹长度来学习能量基模型（Energy-Based Model, EBM）的策略。不同长度的 MCMC 轨迹对应于不同用途的模型。我们的实验涵盖三种不同的轨迹量级与学习结果：1）用于图像生成的短程采样；2）用于与分类器无关的对抗防御的中程采样；3）用于图像概率密度原则性建模的长程采样。为达成这些结果，我们引入了三种用于最大似然（Maximum Likelihood, ML）学习中负样本 MCMC 初始化的新方法。在标准网络架构与未改动的 ML 目标下，仅靠我们的 MCMC 初始化方法便能在我们所考察的三种应用上带来显著的性能提升。我们的结果包括 CIFAR-10 与 ImageNet 数据集上非归一化图像密度的最先进 FID 分数；在净化方法中 CIFAR-10 上的最先进对抗防御以及首个 ImageNet 上的 EBM 防御；以及用于学习有效概率密度的可扩展技术。本项目代码见 https://github.com/point0bar1/ebm-life-cycle。
引用
@article{arxiv.2205.12243,
title = {EBM Life Cycle: MCMC Strategies for Synthesis, Defense, and Density Modeling},
author = {Mitch Hill and Jonathan Mitchell and Chu Chen and Yuan Du and Mubarak Shah and Song-Chun Zhu},
journal= {arXiv preprint arXiv:2205.12243},
year = {2022}
}