揭开高维空间中线性分歧现象的神秘面纱
机器学习
2023-03-02 v2 计算机视觉与模式识别
机器学习
摘要
在分布偏移下评估机器学习模型的性能具有挑战性，尤其是当我们仅有来自偏移后（目标）域的无标签数据，以及来自原始（源）域的带标签数据时。近期的研究表明，分歧（disagreement，即两个以不同随机性训练的模型在同一输入上产生差异的程度）这一概念是解决该问题的关键。实验上，分歧与预测误差已被证明存在强关联，并已被用于估计模型性能。实验发现了线性分歧（disagreement-on-the-line）现象：目标域下的分类误差通常是源域下分类误差的线性函数；且只要该性质成立，源域与目标域下的分歧也遵循相同的线性关系。本工作中，我们为高维随机特征回归中的分歧分析建立了理论基础，并研究了在我们的设定下线性分歧现象在何种条件下发生。在 CIFAR-10-C、Tiny ImageNet-C 和 Camelyon17 上的实验与我们的理论一致，并支持了理论发现的普适性。
引用
@article{arxiv.2301.13371,
title = {Demystifying Disagreement-on-the-Line in High Dimensions},
author = {Donghwan Lee and Behrad Moniri and Xinmeng Huang and Edgar Dobriban and Hamed Hassani},
journal= {arXiv preprint arXiv:2301.13371},
year = {2023}
}