论大型基础模型的灾难性继承
机器学习
2024-10-24 v2 人工智能
计算机与社会
摘要
大型基础模型（LFM）正展现出惊人的性能。然而，其神话般且未被解释的潜力不仅在机器学习领域，也在其他诸多学科中引发了巨大担忧。在这篇立场论文中，我们提出识别一个深植于 LFM 之中却被忽视的问题：灾难性继承（Catastrophic Inheritance），用以描述从有偏的大规模预训练数据中继承到 LFM 在下游任务行为上的弱点和局限性，包括损坏样本、长尾样本、噪声样本、分布外样本等。这种继承可能会给下游应用带来灾难，如偏差、缺乏泛化能力、性能下降、安全漏洞、隐私泄露和价值错位。我们讨论了该问题背后的挑战，并提出了 UIM 框架，以从预训练和下游适应两方面理解（Understand）LFM 的灾难性继承，解释（Interpret）灾难性继承对下游任务的影响，以及如何缓解（Mitigate）它。UIM 旨在联合机器学习与社会科学两个社区，以实现更负责任、更有前景的 AI 开发与部署。
引用
@article{arxiv.2402.01909,
title = {On Catastrophic Inheritance of Large Foundation Models},
author = {Hao Chen and Bhiksha Raj and Xing Xie and Jindong Wang},
journal= {arXiv preprint arXiv:2402.01909},
year = {2024}
}
备注
Accepted by DMLR