Plex：利用预训练大模型扩展迈向可靠性
机器学习
2022-07-18 v1 机器学习
摘要
人工智能近期的一个趋势是在语言和视觉任务中使用预训练模型，其取得了非凡性能但也出现令人困惑的失败。因此，以多样方式探查这些模型的能力对该领域至关重要。本文中，我们探讨模型的可靠性，将可靠模型定义为不仅取得强劲预测性能，而且在涉及不确定性的众多决策任务（如选择性预测、开放集识别）、鲁棒泛化（如分布内与分布外数据集上的准确率和对数似然等恰当评分规则）以及自适应（如主动学习、少样本不确定性）上持续表现良好的模型。我们设计了40个数据集上的10类任务，以评估视觉与语言域可靠性的不同方面。为提升可靠性，我们开发了ViT-Plex与T5-Plex，分别为视觉与语言模态的预训练大模型扩展。Plex大幅改进了可靠性任务上的最先进水平，并简化了传统流程，因其提升了开箱即用性能且无需为每个任务设计分数或调优模型。我们展示了高达1B参数模型规模与高达4B样本预训练数据集规模上的缩放效应。我们还展示了Plex在零样本开放集识别、主动学习和对话语言理解中的不确定性等挑战性任务上的能力。
引用
@article{arxiv.2207.07411,
title = {Plex: Towards Reliability using Pretrained Large Model Extensions},
author = {Dustin Tran and Jeremiah Liu and Michael W. Dusenberry and Du Phan and Mark Collier and Jie Ren and Kehang Han and Zi Wang and Zelda Mariet and Huiyi Hu and Neil Band and Tim G. J. Rudner and Karan Singhal and Zachary Nado and Joost van Amersfoort and Andreas Kirsch and Rodolphe Jenatton and Nithum Thain and Honglin Yuan and Kelly Buchanan and Kevin Murphy and D. Sculley and Yarin Gal and Zoubin Ghahramani and Jasper Snoek and Balaji Lakshminarayanan},
journal= {arXiv preprint arXiv:2207.07411},
year = {2022}
}
备注
Code available at https://goo.gle/plex-code