在模型动物园中探索并利用多样知识用于域泛化
机器学习
2023-06-06 v1 机器学习
摘要
预训练技术的进步催生了大量公开可用模型，预训练模型的激增导致了庞大模型动物园的出现。有效利用这些资源为下游任务获取具备强分布外泛化能力的模型已成为关键研究方向。既往研究主要关注识别模型动物园中最强模型，忽视了对其中所含多样归纳偏置的充分挖掘。本文主张弱模型所含知识同样有价值，并提出一种利用模型动物园内多样性以提升分布外泛化能力的方法。具体而言，我们通过从多样性偏移与相关偏移两个维度刻画不同预训练模型编码表示的变化，考察其在下游任务不同域上的行为。该刻画使我们提出一种集成多样预训练模型（不限于最强模型）的新算法，以实现增强的分布外泛化性能。所提方法在多个数据集上取得最先进的实证结果，验证了利用多样知识的益处。
引用
@article{arxiv.2306.02595,
title = {Explore and Exploit the Diverse Knowledge in Model Zoo for Domain Generalization},
author = {Yimeng Chen and Tianyang Hu and Fengwei Zhou and Zhenguo Li and Zhiming Ma},
journal= {arXiv preprint arXiv:2306.02595},
year = {2023}
}
备注
Accepted to ICML 2023