基于分子图基础模型的鲁棒微调基准：RoFt-Mol
机器学习
2025-12-12 v3 化学物理
摘要
在基础模型时代，为特定下游任务进行预训练模型的微调已至关重要。这推动了鲁棒微调方法的需求，以应对模型过拟合和稀疏标注等挑战。分子图基础模型 (MGFMs) 面临独特困难，使微调复杂化。这类模型受限于较小的预训练数据集和更严重的下游任务数据稀缺，两者都需要增强模型的泛化能力。此外，MGFMs 必须适应多样化的目标，包括回归和分类任务。为更好地理解和改进在此条件下的微调技术，我们将八种微调方法归类为三种机制：权重型、表示型和部分微调。我们在有监督和无监督预训练模型的下游回归和分类任务上，对这些方法进行基准测试，涵盖多种标注设置。这一广泛评估提供了宝贵见解，并指导了精细化鲁棒微调方法 ROFT-MOL 的设计。该方法结合了简单后置权重插值与更复杂权重集成微调方法的优势，在两种任务类型上均实现性能提升，同时保持后置权重插值的易用性。
引用
@article{arxiv.2509.00614,
title = {RoFt-Mol: Benchmarking Robust Fine-Tuning with Molecular Graph Foundation Models},
author = {Shikun Liu and Deyu Zou and Nima Shoghi and Victor Fung and Kai Liu and Pan Li},
journal= {arXiv preprint arXiv:2509.00614},
year = {2025}
}