论在潜空间定义邻域分布的优势
机器学习
2021-10-19 v4 计算机视觉与模式识别
机器学习
摘要
邻域风险最小化（VRM）原则是经验风险最小化（ERM）的一种变体，其用邻域函数替代狄拉克质量。有强有力的数值和理论证据表明，如果选择适当的邻域函数，VRM 在泛化方面优于 ERM。Mixup 训练（MT）作为一种流行的邻域分布选择，通过在训练样本之间引入全局线性行为来改善模型的泛化性能。除泛化外，近期工作表明 mixup 训练的模型对输入扰动/损坏相对鲁棒，同时比非 mixup 对应模型校准得更好。在本工作中，我们研究在生成模型的潜空间而非输入空间本身中定义如 mixup 这类邻域分布的优势。我们提出一种新方法——\textit{VarMixup（变分 Mixup）}——利用数据底层的潜流形来更好地采样 mixup 图像。我们在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上的实证研究表明，通过在 VAEs 学习的潜流形上执行 mixup 训练的模型本质上对各种输入损坏/扰动更鲁棒，校准显著更好，并展现出更多的局部线性损失景观。
引用
@article{arxiv.2003.06566,
title = {On the benefits of defining vicinal distributions in latent space},
author = {Puneet Mangla and Vedant Singh and Shreyas Jayant Havaldar and Vineeth N Balasubramanian},
journal= {arXiv preprint arXiv:2003.06566},
year = {2021}
}
备注
Accepted at Elsevier Pattern Recognition Letters (2021), Best Paper Award at CVPR 2021 Workshop on Adversarial Machine Learning in Real-World Computer Vision (AML-CV), Also accepted at ICLR 2021 Workshops on Robust-Reliable Machine Learning (Oral) and Generalization beyond the training distribution (Abstract)