Pin-Tuning：用于少样本分子性质预测的参数高效上下文内微调
机器学习
2024-11-05 v1 人工智能
分子网络
摘要
分子性质预测（MPP）是药物发现和材料科学的核心，但在现实场景中常面临数据稀缺的挑战。为此，少样本分子性质预测（FSMPP）应运而生。与其他少样本任务不同，FSMPP通常采用预训练分子编码器和上下文感知分类器，受益于分子预训练和分子上下文信息。尽管取得了这些进展，现有方法在预训练编码器的微调方面仍存在困难。我们将此问题归因于可微调参数丰富与标注分子稀缺之间的不平衡，以及编码器中缺乏上下文感知能力。为克服这一障碍，我们提出了一种参数高效的上下文内微调方法——Pin-Tuning。具体而言，我们为预训练消息传递层提出轻量级适配器（MP-Adapter），为预训练原子/键嵌入层提出贝叶斯权重整合（Emb-BWC），以实现参数高效的微调，同时防止过拟合和灾难性遗忘。此外，我们通过上下文感知能力增强了MP-Adapter。这一创新使得预训练编码器的上下文内微调成为可能，从而提升了其对特定FSMPP任务的适应性。在公开数据集上的评估表明，我们的方法以更少的可训练参数实现了更优的微调效果，提升了少样本预测性能。
引用
@article{arxiv.2411.01158,
title = {Pin-Tuning: Parameter-Efficient In-Context Tuning for Few-Shot Molecular Property Prediction},
author = {Liang Wang and Qiang Liu and Shaozhen Liu and Xin Sun and Shu Wu and Liang Wang},
journal= {arXiv preprint arXiv:2411.01158},
year = {2024}
}
备注
Accepted by NeurIPS 2024