基于最低共同祖先的图像分类模型外分布泛化基准测试
机器学习
2024-07-24 v1 人工智能
计算机视觉与模式识别
摘要
本文聚焦于利用基于分布内 (ID) 测量预测模型外分布 (OOD) 性能的挑战，而无需 OOD 数据。现有方法如“有效鲁棒性”评估，仅以 ID 准确率作为 OOD 准确率的指示器，面临局限，尤其当模型采用不同监督方式和分布训练时，如基于类别标签的视觉模型 (Vision Models, VMs) 在 ImageNet 上，或基于文本描述的视觉语言模型 (Visual-Language Models, VLMs) 在 LAION 上。VLMs 常在 OOD 数据上表现更好，尽管其 ID 性能可能略低。为提升从 ID 测量预测模型 OOD 性能，我们引入最低共同祖先 (LCA) 框架。该方法重访了衡量类别层次结构中标签与预测之间层次距离的已有概念，如 WordNet。我们使用 ImageNet 作为 ID 数据集，并评估五个显著偏移的 OOD 变体，发现 ID LCA 距离与 OOD Top-1 准确率之间存在强线性相关。我们的 метод为理解 VLMs 为何更能泛化至 OOD 数据提供了有力解释。此外，我们提出构建任意数据集上分类层次结构的技术，表明 LCA 距离对构建的分类层次结构具有鲁棒性。进一步地，我们展示，通过软标签或提示工程对模型预测与类别层次结构对齐，可提升模型的泛化能力。项目页面开源代码：https://elvishelvis.github.io/papers/lca/。
引用
@article{arxiv.2407.16067,
title = {LCA-on-the-Line: Benchmarking Out-of-Distribution Generalization with Class Taxonomies},
author = {Jia Shi and Gautam Gare and Jinjin Tian and Siqi Chai and Zhiqiu Lin and Arun Vasudevan and Di Feng and Francesco Ferroni and Shu Kong},
journal= {arXiv preprint arXiv:2407.16067},
year = {2024}
}
备注
ICML 2024 Oral Presentation; Project Page: https://elvishelvis.github.io/papers/lca/