哪些模型具有感知对齐梯度？基于流形外鲁棒性的解释

鲁棒计算机视觉模型的一个显著特性是其输入梯度常与人类感知对齐，文献中称之为感知对齐梯度（PAGs）。尽管仅被训练用于分类，PAGs 使鲁棒模型具备初步的生成能力，包括图像生成、去噪和修复。然而，这些现象背后的机制仍未知。本工作中，我们通过\emph{流形外鲁棒性}首次解释 PAGs，即模型在数据流形外的鲁棒性必须强于流形内。我们首先从理论上证明，流形外鲁棒性使输入梯度近似位于数据流形上，解释了其感知对齐。然后我们展示贝叶斯最优模型满足流形外鲁棒性，并对通过梯度范数正则化、随机平滑和带投影梯度下降的对抗训练得到的鲁棒模型进行了实证确认。通过模型梯度与生成模型梯度的相似性来量化模型梯度的感知对齐，我们发现流形外鲁棒性与感知对齐良好相关。最后，基于流形内与流形外鲁棒性水平，我们识别出影响感知对齐与模型准确性的三种不同鲁棒性机制：弱鲁棒性、贝叶斯对齐鲁棒性和过度鲁棒性。代码见 \url{https://github.com/tml-tuebingen/pags}。