物理属性的原语学习：针对外分布分子图的少样本适应
机器学习
2024-06-05 v1 材料科学
摘要
大型语言模型表现出对提供的序列示例进行少样本适应的能力。这种行为称为原语学习，使我们能够仅在推理阶段执行非平凡的机器学习任务。在本工作中，我们围绕着以下问题展开：我们能否利用原语学习来预测外分布材料属性？然而，除非找到有效的方法将原子级几何特征传递给转换器模型，否则不可能实现此类结构属性预测任务。为此，我们采用一种复合模型，其中GPT-2作用于几何感知图神经网络输出的结果，以适应原语信息。为展示我们模型的能力，我们将QM9数据集划分为共享常见分子结构的分子序列，用于原语学习。这种方法显著提高了模型在外分布示例上的性能，超越了通用图神经网络模型的性能。
引用
@article{arxiv.2406.01808,
title = {In-Context Learning of Physical Properties: Few-Shot Adaptation to Out-of-Distribution Molecular Graphs},
author = {Grzegorz Kaszuba and Amirhossein D. Naghdi and Dario Massa and Stefanos Papanikolaou and Andrzej Jaszkiewicz and Piotr Sankowski},
journal= {arXiv preprint arXiv:2406.01808},
year = {2024}
}
备注
12 pages, 4 figures