对抗过拟合的反事实示例
机器学习
2025-12-09 v2
摘要
过拟合是机器学习中一个著名问题，当模型难以对其训练集之外的新数据进行泛化预测时便会发生。传统的缓解过拟合技术包括提前停止、数据增强和正则化。在本工作中，我们证明了训练模型的过拟合程度与生成反事实示例的能力相关。过拟合越严重，对于随机选取的输入数据点找到有效反事实示例就越容易。因此，我们引入了CF-Reg，这是一种用于控制过拟合的训练损失中的新型正则化项，通过确保每个实例与其相应反事实示例之间拥有足够的间隙来实现。在多个数据集和模型上的实验表明，反事实正则化器通常优于现有正则化技术。
引用
@article{arxiv.2502.09193,
title = {Countering Overfitting with Counterfactual Examples},
author = {Flavio Giorgi and Fabiano Veglianti and Fabrizio Silvestri and Gabriele Tolomei},
journal= {arXiv preprint arXiv:2502.09193},
year = {2025}
}