块级邻域插值：一种通用且有效的基于图的正则化策略
机器学习
2023-10-24 v3 机器学习
摘要
正则化在机器学习模型中起着至关重要的作用，尤其是深度神经网络。现有的正则化技术主要依赖独立同分布假设，且仅考虑当前样本的知识，未利用样本之间的邻域关系。在本工作中，我们提出一种称为块级邻域插值（Pani）的通用正则化器，其在网络计算中进行非局部表示。我们的方法在不同层中显式构建块级图，然后线性插值邻域块特征，作为一种通用且有效的正则化策略。进一步，我们将该方法定制为两类流行的正则化方法，即虚拟对抗训练（VAT）和 MixUp 及其变体。第一个派生方法 Pani VAT 通过采用块级插值扰动来构造非局部对抗平滑性，提出了一种新思路。第二个派生方法 Pani MixUp 扩展了 MixUp，并在计算效率具有显著优势的情况下，优于 MixUp 且在性能上可与最先进的 MixUp 变体方法相竞争。大量实验验证了我们的 Pani 方法在有监督和无监督设置下的有效性。
引用
@article{arxiv.1911.09307,
title = {Patch-level Neighborhood Interpolation: A General and Effective Graph-based Regularization Strategy},
author = {Ke Sun and Bing Yu and Zhouchen Lin and Zhanxing Zhu},
journal= {arXiv preprint arXiv:1911.09307},
year = {2023}
}
备注
Accepted in ACML 2023 conference track