基于梯度的Wang-Landau算法：一种用于神经网络在输入空间上输出分布的新型采样器
人工智能
2023-02-22 v2
摘要
神经网络(NN)在整个输入空间上的输出分布捕获了完整的输入-输出映射关系，为更全面地理解NN提供了见解。对整个输入空间进行穷举枚举或传统蒙特卡洛方法可能表现出不切实际的采样时间，尤其是对于高维输入。为了使这种困难采样在计算上可行，本文提出了一种新颖的基于梯度的Wang-Landau(GWL)采样器。我们首先将NN的输出分布与物理系统的态密度(DOS)联系起来。然后，我们改造了经典的DOS问题采样器——Wang-Landau算法，用基于梯度的蒙特卡洛提议替换其随机提议。这样，我们的GWL采样器能更高效地探索输入空间中未被充分探索的子集。大量实验验证了GWL生成的输出分布的准确性，并展示了一些有趣的发现——例如，在二值图像分类任务中，CNN和ResNet都将大多数人类无法识别的图像映射到非常负的logit值。
引用
@article{arxiv.2302.09484,
title = {Gradient-based Wang-Landau Algorithm: A Novel Sampler for Output Distribution of Neural Networks over the Input Space},
author = {Weitang Liu and Ying-Wai Li and Yi-Zhuang You and Jingbo Shang},
journal= {arXiv preprint arXiv:2302.09484},
year = {2023}
}