用于 OOD 泛化与检测的可扩展集成多样化
机器学习
2024-09-26 v1 人工智能
计算机视觉与模式识别
摘要
训练多样化的模型集成具有多种实际应用，例如为分布外（OOD）泛化更好的模型选择提供候选方案，以及通过贝叶斯原理实现对 OOD 样本的检测。一种现有的多样化集成训练方法鼓励模型在提供的 OOD 样本上产生分歧。然而，该方法的计算成本很高，并且需要分离良好的分布内（ID）和 OOD 样本，因此它仅在中小规模设置中得到验证。 这项工作提出了一种适用于大规模设置（例如 ImageNet）的可扩展集成多样化（SED）方法，该方法不需要 OOD 样本。相反，SED 动态识别困难训练样本，并鼓励集成成员在这些样本上产生分歧。为了改善可扩展性，我们展示了如何避免现有方法中跨模型穷举成对分歧的昂贵计算。 我们在 ImageNet 上通过实验评估了多样化的益处。首先，对于 OOD 泛化，我们在多种设置中观察到多样化带来的巨大益处，包括输出空间（经典）集成和权重空间集成（模型汤）。其次，对于 OOD 检测，我们将集成假设的多样性转化为一种新颖的不确定性分数估计器，其超越了大量的 OOD 检测基线。代码可在此处获取：https://github.com/AlexanderRubinstein/diverse-universe-public。
引用
@article{arxiv.2409.16797,
title = {Scalable Ensemble Diversification for OOD Generalization and Detection},
author = {Alexander Rubinstein and Luca Scimeca and Damien Teney and Seong Joon Oh},
journal= {arXiv preprint arXiv:2409.16797},
year = {2024}
}
备注
Under review