用邻域不变性预测域外泛化
机器学习
2023-07-18 v3 机器学习
摘要
安全开发和部署机器学习模型取决于刻画并比较其泛化到新环境的能力。尽管近期工作提出了多种可直接预测或理论上界定模型泛化能力的方法，但它们依赖强假设，如训练/测试分布匹配以及可访问模型梯度。为在假设不满足时刻画泛化能力，我们提出邻域不变性，一种分类器在局部变换邻域中输出不变性的度量。具体而言，我们采样一组变换，给定输入测试点，将不变性计算为被分类为同一类的最大变换点比例。关键的是，我们的度量计算简单，不依赖测试点的真实标签，不对数据分布或模型作假设，并且即使现有方法无法应用的域外（OOD）设定下也可使用，仅需选取一组合适的数据变换。在图像分类、情感分析和自然语言推理的鲁棒性基准实验中，我们在超过 100 个独特训练/测试域对上评估的超过 4600 个模型上，展示了邻域不变性度量与实际 OOD 泛化之间的强且鲁棒的关联。
引用
@article{arxiv.2207.02093,
title = {Predicting Out-of-Domain Generalization with Neighborhood Invariance},
author = {Nathan Ng and Neha Hulkund and Kyunghyun Cho and Marzyeh Ghassemi},
journal= {arXiv preprint arXiv:2207.02093},
year = {2023}
}
备注
38 pages, 5 figures, 28 tables