消除神经网络集成的多重共线性问题：增量式、负相关、最优凸混合
机器学习
2021-05-03 v1 人工智能
最优化与控制
摘要
给定一 {特征, 目标} 数据集，我们提出一种增量算法，利用神经网络集成构造聚合回归器。众所周知，集成方法受多重共线性问题困扰，这主要源于共同训练数据集而产生的冗余表现。在本增量方法中，每一阶段我们在凸性约束下将聚合回归器与新训练的神经网络最优混合，该约束在必要时诱导负相关。在此框架下，共线性问题根本不会出现，从而使该方法既准确又鲁棒。
引用
@article{arxiv.2104.14715,
title = {Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending},
author = {Pola Lydia Lagari and Lefteri H. Tsoukalas and Salar Safarkhani and Isaac E. Lagaris},
journal= {arXiv preprint arXiv:2104.14715},
year = {2021}
}