利用局部性防止流形侵入:局部 Mixup
机器学习
2022-01-13 v1
摘要
Mixup 是一种数据相关的正则化技术,其通过对输入样本及相应输出进行线性插值来实现。已表明在标准机器学习数据集上训练时使用该技术可提升准确率。然而,有作者指出 Mixup 会产生分布外虚拟样本,甚至在增广训练集中造成矛盾,从而可能引发对抗性效应。在本文中,我们引入局部 Mixup(Local Mixup),其在计算损失时对距离较远的输入样本进行降权。在受限设定下,我们证明局部 Mixup 能在偏差与方差间建立权衡,其极端情形分别退化为原始训练与经典 Mixup。利用标准化计算机视觉基准,我们也展示了局部 Mixup 可提升测试准确率。
引用
@article{arxiv.2201.04368,
title = {Preventing Manifold Intrusion with Locality: Local Mixup},
author = {Raphael Baena and Lucas Drumetz and Vincent Gripon},
journal= {arXiv preprint arXiv:2201.04368},
year = {2022}
}