迈向语言模型中的3D分子-文本解释
机器学习
2024-03-19 v2 信息检索
生物大分子
摘要
语言模型（LM）已深刻影响了多个领域。然而，它们在理解3D分子结构方面的固有限制极大地限制了其在生物分子领域的潜力。为弥合这一差距，我们聚焦于3D分子-文本解释，并提出3D-MoLM：3D分子语言建模。具体而言，3D-MoLM通过为LM配备3D分子编码器，使其能够解释和分析3D分子。这种集成通过一个3D分子-文本投影器实现，桥接了3D分子编码器的表示空间与LM的输入空间。此外，为了增强3D-MoLM的跨模态分子理解和指令遵循能力，我们精心策划了一个以3D分子为中心的指令微调数据集——3D-MoIT。通过3D分子-文本对齐和以3D分子为中心的指令微调，3D-MoLM建立了3D分子编码器与LM的集成。它在下游任务上显著超越了现有基线，包括分子-文本检索、分子描述以及更具挑战性的开放文本分子问答任务，尤其是关注3D依赖性质的任务。我们在https://github.com/lsh0520/3D-MoLM发布我们的代码和数据集。
引用
@article{arxiv.2401.13923,
title = {Towards 3D Molecule-Text Interpretation in Language Models},
author = {Sihang Li and Zhiyuan Liu and Yanchen Luo and Xiang Wang and Xiangnan He and Kenji Kawaguchi and Tat-Seng Chua and Qi Tian},
journal= {arXiv preprint arXiv:2401.13923},
year = {2024}
}