AdaCap：面向小数据集神经网络的自适应对比方法
机器学习
2025-11-26 v1
摘要
神经网络在小型表格数据集上表现不佳，树基模型仍占主导地位。我们提出自适应对比方法（AdaCap），一种结合置换基对比损失与Tikhonov闭式输出映射的训练方案。在85个真实世界回归数据集和多种网络架构上，AdaCap在小样本情境下显著且统计上显著性地提升性能，尤其是对残差模型效果更佳。基于数据特征（规模、偏度、噪声）训练的元预测器能准确预测AdaCap何时 beneficial。这些结果表明，AdaCap作为一种有针对性的正则化机制，恰在神经网络最脆弱的地方发挥作用。所有结果和代码均公开于 https://github.com/BrunoBelucci/adacap。
引用
@article{arxiv.2511.20170,
title = {AdaCap: An Adaptive Contrastive Approach for Small-Data Neural Networks},
author = {Bruno Belucci and Karim Lounici and Katia Meziani},
journal= {arXiv preprint arXiv:2511.20170},
year = {2025}
}
备注
Submitted to ESANN 2026