大型语言模型是上下文分子学习者
计算与语言
2025-04-08 v4 人工智能
摘要
大型语言模型 (LLMs) 在生化任务中表现出卓越的性能，尤其是分子描述翻译任务，该任务旨在弥合分子与自然语言文本之间的差距。然而，先前将 LLMs 适配到分子描述翻译任务的方法需要额外的领域特定预训练阶段，存在分子空间与文本空间对齐较弱的问题，或对 LLMs 的规模提出了严格要求。为解决这些挑战，我们提出了上下文分子适配 (ICMA)，这是一种新范式，允许 LLMs 通过上下文分子微调从上下文示例中学习分子 - 文本对齐。具体而言，ICMA 包含以下三个阶段：混合上下文检索、检索后重排序和上下文分子微调。最初，混合上下文检索利用 BM25 描述检索和分子图检索来检索相似的 informative 上下文示例。此外，检索后重排序由序列反转和随机游走选择组成，以进一步提高检索结果的质量。最后，上下文分子微调利用检索到的示例解锁 LLMs 的上下文学习和推理能力，并调整 LLMs 的参数以实现分子与文本之间更好的对齐。实验结果表明，ICMA 能使 LLMs 在不使用额外训练语料库和复杂结构的情况下达到最先进或可比的性能，表明 LLMs 本质上是上下文分子学习者。
引用
@article{arxiv.2403.04197,
title = {Large Language Models are In-Context Molecule Learners},
author = {Jiatong Li and Wei Liu and Zhihao Ding and Wenqi Fan and Yuqiang Li and Qing Li},
journal= {arXiv preprint arXiv:2403.04197},
year = {2025}
}
备注
Accepted by IEEE TKDE