通过显式 Lipschitz 正则化增强基于 Mixup 的半监督学习
机器学习
2020-09-25 v1 机器学习
摘要
深度学习的成功依赖于大规模标注数据的可用性，而此类数据的获取可能代价高昂，需要专家领域知识。半监督学习（SSL）通过利用神经函数在大量无标注数据上的行为来缓解这一挑战。神经函数的平滑性是 SSL 中常用的假设。一个成功的例子是在 SSL 中采用 mixup 策略，通过鼓励神经函数在训练样本间插值时呈线性行为来强制其全局平滑性。然而，尽管有经验上的成功，mixup 如何正则化神经函数的理论依据尚未被充分理解。在本文中，我们提出一个经理论证实的命题：mixup 通过约束神经网络梯度函数的 Lipschitz 常数来提升神经函数的平滑性。我们进而提出，可通过对抗性 Lipschitz 正则化同时约束神经函数自身的 Lipschitz 常数来加强这一点，鼓励神经函数呈线性行为的同时也约束该线性函数的斜率。在三个基准数据集和一个真实世界生物医学数据集上，我们证明了这种组合正则化在从少量标注数据学习时提升了 SSL 的泛化性能。我们进一步展示了所提方法对单步对抗攻击的鲁棒性。我们的代码可在 https://github.com/Prasanna1991/Mixup-LR 获取。
引用
@article{arxiv.2009.11416,
title = {Enhancing Mixup-based Semi-Supervised Learning with Explicit Lipschitz Regularization},
author = {Prashnna Kumar Gyawali and Sandesh Ghimire and Linwei Wang},
journal= {arXiv preprint arXiv:2009.11416},
year = {2020}
}
备注
A shorter version of this work will appear in the ICDM 2020 conference proceedings