基于大语言模型的熵强化规划用于药物发现
机器学习
2025-04-01 v2 人工智能
定量方法
机器学习
摘要
药物发现的目标是识别具有特定药理属性的化合物。现有的大语言模型 (LLM) 能够在分子生成方面获得高 token 匹配分数。然而，仅依赖 LLM 解码会导致生成的分子因单个误用 token 而无效，或由于 LLM 先验经验导致探索与开发不平衡，从而产生次优结果。为此，我们提出了 ERP（Entropy-Reinforced Planning for Transformer Decoding），采用熵强化规划算法来增强 Transformer 解码过程，以在开发和探索之间取得平衡。ERP 旨在通过直接从 Transformer 采样相比，提高多个属性。我们在针对 SARS-CoV-2 病毒 (3CLPro) 和人类癌症细胞靶点蛋白 (RTCB) 的基准测试中评估了 ERP，证明在两个基准测试中，ERP 均 consistently 超过当前最先进算法 1-5%，显著优于基线方法 5-10%。此外，这种改进对不同目标训练的 Transformer 模型具有鲁棒性。最后，为进一步说明 ERP 的能力，我们在三个代码生成基准测试中对其进行了测试，超越了当前最先进的方法。我们的代码公开可用：https://github.com/xuefeng-cs/ERP。
引用
@article{arxiv.2406.07025,
title = {Entropy-Reinforced Planning with Large Language Models for Drug Discovery},
author = {Xuefeng Liu and Chih-chan Tien and Peng Ding and Songhao Jiang and Rick L. Stevens},
journal= {arXiv preprint arXiv:2406.07025},
year = {2025}
}
备注
Published in ICML2024