基于曲率增强的数据增强方法 for 回归任务

拥有大量参数的深度学习模型——通常称为过参数化模型——在各类任务中取得了卓越的性能。尽管存在过拟合的担忧，但这些模型由于有效的正则化技术（其中数据增强是最常用的技术之一），经常能够良好地泛化到看不见的数据。虽然在使用保持标签不变的变换在分类任务中取得了很大成功，但在回归问题中的数据增强应用仍相对受到关注。最近提出了一种新颖的流形学习方法用于生成合成数据，利用数据流形的一阶近似。基于此，我们提出了一种理论框架和实用工具，用于近似和采样通用数据流形。进一步地，我们引入了基于曲率增强的流形采样（CEMS）方法，用于回归任务。CEMS 利用数据流形的二阶表示，以实现对新数据点的高效采样和重建。广泛的评估在多个数据集上进行，并与最先进的方法进行比较，表明 CEMS 在分布内和分布外情景下均能实现优异性能，同时仅引入最小的计算开销。代码已在 https://github.com/azencot-group/CEMS 提供。