面向化学与药物发现的Transformer与大型语言模型
机器学习
2023-10-11 v1 化学物理
摘要
语言建模在过去几年取得令人瞩目的进展，主要由Transformer架构的发明所推动，并在机器学习诸多领域引发变革，在化学与生物学中取得突破。在本章中，我们探讨化学语言与自然语言间的类比如何启发使用Transformer应对药物发现过程中的重要瓶颈，如逆合成规划与化学空间探索。这场变革始于能用单一类型数据（如线性化分子图）执行特定任务的模型，随后演进到纳入其他类型数据，如分析仪器谱图、合成动作及人类语言。一种新趋势利用大型语言模型（LLM）近期发展，催生出一批能解决化学中通用任务的模型，均得益于自然语言的灵活性。随着我们持续探索并利用这些能力，可以期待一个机器学习在加速科学发现中扮演更核心角色的未来。
引用
@article{arxiv.2310.06083,
title = {Transformers and Large Language Models for Chemistry and Drug Discovery},
author = {Andres M Bran and Philippe Schwaller},
journal= {arXiv preprint arXiv:2310.06083},
year = {2023}
}