通过 Vicinal Jensen 间隙最小化提高进化特征构建中泛化能力
机器学习
2026-02-03 v1 神经与进化计算
摘要
基于遗传编程的特征构建近年来在自动机器学习中取得了显著成功,但仍面临过拟合问题,限制了其更广泛的适用性。为提高泛化能力,我们证明了通过噪声扰动或 mixup-based 数据增强估计的 vicinal risk 受经验 risk 与正则化项(有限差分或 vicinal Jensen 间隙)之和的上界的制约。利用这一分解,我们提出了一个进化特征构建框架,联合优化经验风险和 vicinal Jensen 间隙以控制过拟合。由于数据集的噪声水平各不相同,我们开发了噪声估计策略,以动态调整正则化强度。此外,为缓解数据增强可能导致的流形侵入问题(即生成的样本超出数据流形),我们提出了流形侵入检测机制。在 58 个数据集上的实验结果表明,Jensen 间隙最小化相对于其他复杂度度量更有效。与 15 种机器学习算法的比较进一步表明,采用所提出的过拟合控制策略的遗传编程在性能上具有优势。
引用
@article{arxiv.2602.01510,
title = {Enhancing Generalization in Evolutionary Feature Construction for Symbolic Regression through Vicinal Jensen Gap Minimization},
author = {Hengzhe Zhang and Qi Chen and Bing Xue and Wolfgang Banzhaf and Mengjie Zhang},
journal= {arXiv preprint arXiv:2602.01510},
year = {2026}
}