通过锚定实现模型一致性
机器学习
2026-02-27 v1 人工智能
摘要
诸多研究旨在控制模型不一致性——即两个机器学习模型在其预测结果上所产生的分歧程度。我们采用一种简单且标准的模型不一致性定义，用于实值预测问题，即两个在独立样本上训练的模型之间预测差异的平方期望，无需对训练过程进行任何协调。我们希望能够通过某些自然参数控制训练程序来将不一致性驱动至零，并使用可适用于现有训练方法的分析技术。我们发展了一种简单通用的技术，用于基于「锚定」于两个模型平均值的分析来证明独立模型不一致性的上界。随后，我们将此技术应用于四种常用机器学习算法的不一致性界：(1) 对任意模型类的堆叠聚合（其中通过堆叠的模型数量 k 来驱动不一致性趋于零）、(2) 梯度提升（其中通过迭代次数 k 来驱动不一致性趋于零）、(3) 神经网络训练中进行架构搜索（其中通过被优化的架构规模 n 来驱动不一致性趋于零）、(4) 固定深度的回归树训练（其中通过树的架构深度 d 来驱动不一致性趋于零）。为清晰起见，我们在以平方误差损失为基础的一维回归设置中推导初始界限，但随后展示所有结果都推广到以任意强凸损失为基础的多维回归。
引用
@article{arxiv.2602.23360,
title = {Model Agreement via Anchoring},
author = {Eric Eaton and Surbhi Goel and Marcel Hussing and Michael Kearns and Aaron Roth and Sikata Bela Sengupta and Jessica Sorrell},
journal= {arXiv preprint arXiv:2602.23360},
year = {2026}
}