理解与测试深度网络在分布外数据上的泛化能力
机器学习
2021-11-22 v2 人工智能
摘要
深度网络模型在分布内（ID）数据上表现优异，但在分布外（OOD）数据上可能严重失效。尽管方法开发侧重于改进 OOD 泛化，但鲜有研究关注评估模型处理 OOD 数据的能力。本研究致力于分析实验性 ID 测试的问题，并设计 OOD 测试范式以准确评估实际性能。我们的分析基于引入的三类分布偏移以生成 OOD 数据。主要观察包括：（1）ID 测试既无法反映单一模型在 OOD 数据下的实际性能，也无法用于不同模型间的比较。（2）ID 测试的失效可归因于由相应分布偏移所导致的已学习的边际与条件伪相关。基于此，我们提出新颖的 OOD 测试范式以评估模型对未知数据的泛化能力，并讨论如何利用 OOD 测试结果发现模型缺陷以指导模型调试。
引用
@article{arxiv.2111.09190,
title = {Understanding and Testing Generalization of Deep Networks on Out-of-Distribution Data},
author = {Rui Hu and Jitao Sang and Jinqiang Wang and Rui Hu and Chaoquan Jiang},
journal= {arXiv preprint arXiv:2111.09190},
year = {2021}
}