探索适配协议设计以改进泛化与机器学习安全性
机器学习
2022-07-27 v1
摘要
虽然直接在任务特定数据上微调（FT）大规模预训练模型已知可诱导出强大的分布内任务性能，但近期工作表明，不同的适配协议，例如微调前的线性探测（LP），可改进分布外泛化。然而，此类适配协议的设计空间仍未被充分探索，且对此类协议的评估主要集中于分布偏移。因此，在本工作中，我们跨分布偏移和机器学习安全性度量（例如异常检测、校准、对扰动的鲁棒性）评估常见适配协议。我们发现各协议引发了先前评估中未显现的不同权衡。进一步，我们证明数据增强与协议的适当配对可大幅缓解该权衡。最后，我们假设并在实证中观察到，在 LP 期间使用促进难度的增强、随后以增强进行 FT，可能对权衡缓解特别有效。
引用
@article{arxiv.2207.12615,
title = {Exploring the Design of Adaptation Protocols for Improved Generalization and Machine Learning Safety},
author = {Puja Trivedi and Danai Koutra and Jayaraman J. Thiagarajan},
journal= {arXiv preprint arXiv:2207.12615},
year = {2022}
}
备注
Principles of Distribution Shift (PODS) Workshop at ICML 2022, 4 pages, 2 figures