回归集成中的多样性与自由度

集成方法是现代机器学习的基石。一个集成的性能关键取决于其组成学习器之间的多样性水平。本文建立了多样性与自由度（即模型的容量）之间的联系，表明多样性可被视为一种逆正则化形式。这是通过关注先前发表的算法负相关学习（Negative Correlation Learning, NCL）实现的，该算法在损失函数中通过多样性惩罚项显式鼓励模型多样性。我们给出了具有固定基函数的 NCL 集成中有效自由度的精确公式，表明它是多样性参数的连续、凸且单调递增的函数。我们展示了与 Tikhonov 正则化的联系，并表明在适当选择多样性参数的情况下，NCL 集成在存在噪声时总能优于未正则化集成。我们通过推导一种高效调节多样性参数的方法证明了我们方法的实用价值。最后，我们使用蒙特卡洛估计器将多样性与自由度之间的联系扩展到深度神经网络集成。