由隐式生成器揭示判别器的分布脆弱性
机器学习
2023-08-29 v4
摘要
在深度神经网络学习中，在分布内（ID）样本上训练的判别器可能对分布外（OOD）样本做出高置信度预测。这引发了关于鲁棒、可信且安全的深度学习的重要问题。该问题主要源于在 OOD 样本不可得时训练判别器可观测的 ID 样本有限。我们提出一种通过隐式生成器微调判别器（fine-tuning discriminators by implicit generators, FIG）的通用方法。FIG 基于信息论，适用于标准判别器而无需重新训练。它通过生成并惩罚判别器特定的 OOD 样本，提升标准判别器区分 ID 与 OOD 样本的能力。依据 Shannon 熵，从判别器推断出一个基于能量的隐式生成器，无需额外训练开销。随后，Langevin 动态采样器为该隐式生成器抽取特定的 OOD 样本。最后，我们设计了一个符合隐式生成器设计原则的正则化项，以在那些生成的 OOD 样本上诱导高熵。在不同网络与数据集上的实验表明，FIG 取得了最先进的 OOD 检测性能。
引用
@article{arxiv.2108.09976,
title = {Revealing the Distributional Vulnerability of Discriminators by Implicit Generators},
author = {Zhilin Zhao and Longbing Cao and Kun-Yu Lin},
journal= {arXiv preprint arXiv:2108.09976},
year = {2023}
}