专用基础模型难以超越监督学习基线

在视觉和文本领域取得成功之后，'基础模型'（FM）范式——在大规模数据上预训练大型模型，然后在目标任务上微调——已迅速扩展到科学、工程、医疗保健等领域。这是否实现了原始FM所做到的事情，即在其领域中取代传统的监督学习？为了回答这一问题，我们审视了三个模态——基因组学、卫星成像和时间序列——中的多种近期FM，并将它们与标准的监督学习工作流程进行比较：模型开发、超参数调优和训练，全部仅使用目标任务的数据。在这三个专业领域中，我们发现始终可以训练简单的监督模型——其复杂度不高于轻微修改的宽ResNet或UNet——以匹配甚至超越最新的基础模型。我们的工作表明，大规模预训练的优势在许多专业领域尚未实现，强化了将新FM与强大且调优良好的基线进行比较的必要性，并为此引入了两种新的、易用的、开源的和自动化的工作流程。