nach0-pc：带分子点云编码器的多任务语言模型
机器学习
2024-10-15 v1 计算与语言
摘要
最近的进展将语言模型集成到药物发现管道中，但现有模型大多处理 SMILES 和 SELFIES 化学字符串表示，这些表示缺乏药物发现中至关重要的空间特征。此外，尝试将化学 3D 结构翻译为文本格式的方法遇到长度过长和原子连通性信息不足的问题。为此，本文引入 nach0-pc，一种结合领域特定编码器和文本表示以有效处理原子空间布局的模型。我们的方法利用分子点云编码器进行简洁且顺序无关的结构表示。我们提出了一种用于从空间分子结构数据集中蒸馏知识的新型预训练方案。在单任务和多任务框架下进行微调后，nach0-pc 在多个 established 空间分子生成任务中生成样本的质量表现与其他扩散模型相当。值得注意的是，我们的模型是多任务方法，与扩散模型受限于单任务不同。此外，它能够处理点云相关数据，语言模型由于内存限制无法处理此类数据。这些因素使得我们的模型在保持与其他模型相当性能的同时，训练和推理时间显著降低。
引用
@article{arxiv.2410.09240,
title = {nach0-pc: Multi-task Language Model with Molecular Point Cloud Encoder},
author = {Maksim Kuznetsov and Airat Valiev and Alex Aliper and Daniil Polykovskiy and Elena Tutubalina and Rim Shayakhmetov and Zulfat Miftahutdinov},
journal= {arXiv preprint arXiv:2410.09240},
year = {2024}
}