增强基础模型表示在溯源相关分布偏移下的鲁棒性
计算与语言
2023-12-12 v1
摘要
基础模型是当前工业界和学术界关注的焦点。尽管它们在各种任务中展现了能力，但当其作为监督机器学习的基础时，仍需要深入研究其对分布偏移的鲁棒性。这在临床数据背景下尤为重要，因为其存在与数据可访问性、缺乏预训练材料以及高质量标注有限相关的特殊限制。在这项工作中，我们考察了基于基础模型表示的模型在分布偏移下的稳定性。我们重点关注溯源混杂，这是一种当多机构数据集中存在特定来源的语言使用和类别分布差异时出现的分布偏移形式。使用一种合成诱导不同程度分布偏移的采样策略，我们评估了基础模型的表示在多大程度上能够产生本质上对溯源混杂具有鲁棒性的预测。此外，我们还考察了受 Pearl 的后门调整概念启发的一种直接混杂调整方法的有效性。结果表明，尽管基础模型确实对溯源混杂相关的分布偏移展现出一定的开箱即用鲁棒性，但通过调整可以大幅提升这种鲁棒性。这些发现表明，在存在特定来源分布差异的背景下，需要使用基础模型的表示对预测模型进行刻意的调整。
引用
@article{arxiv.2312.05435,
title = {Enhancing Robustness of Foundation Model Representations under Provenance-related Distribution Shifts},
author = {Xiruo Ding and Zhecheng Sheng and Brian Hur and Feng Chen and Serguei V. S. Pakhomov and Trevor Cohen},
journal= {arXiv preprint arXiv:2312.05435},
year = {2023}
}
备注
Accepted in Workshop on Distribution Shifts, 37th Conference on Neural Information Processing Systems (NeurIPS 2023)