ZooD：利用模型动物园提升分布外泛化能力
机器学习
2022-10-18 v1 人工智能
计算机视觉与模式识别
摘要
大规模预训练的最新进展显示了利用大量预训练模型（PTMs）提升分布外（OoD）泛化潜力的巨大可能，其目标是在多个训练域上微调后，在可能的未见域上表现良好。然而，最大化利用 PTM 动物园具有挑战性，因为微调所有 PTM 组合在计算上难以承受，而准确选择 PTM 需要应对 OoD 任务中可能出现的数据分布偏移。本文提出 ZooD，一种带有特征选择的 PTM 排序与集成范式。我们提出的度量以留一域交叉验证方式，通过量化 PTM 提取特征的类间可判别性与域间稳定性来对 PTM 排序。随后将排名前 K 的模型聚合用于目标 OoD 任务。为避免模型集成引入的噪声累积，我们提出一种高效的变分 EM 算法来选择信息性特征。我们在一个由 35 个模型组成的多样化模型动物园上针对各种 OoD 任务评估了我们的范式，并表明：（i）模型排序与微调排序的相关性优于以往方法，且比暴力微调快达 9859 倍；（ii）经特征选择的模型集成后的 OoD 泛化优于最先进方法，最具挑战性的任务 DomainNet 的准确率从 46.5% 提升至 50.6%。此外，我们提供了 35 个 PTM 在 7 个 OoD 数据集上的微调结果，希望有助于模型动物园与 OoD 泛化的研究。代码将发布于 https://gitee.com/mindspore/models/tree/master/research/cv/zood。
引用
@article{arxiv.2210.09236,
title = {ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization},
author = {Qishi Dong and Awais Muhammad and Fengwei Zhou and Chuanlong Xie and Tianyang Hu and Yongxin Yang and Sung-Ho Bae and Zhenguo Li},
journal= {arXiv preprint arXiv:2210.09236},
year = {2022}
}