回归Transformer：面向分子语言建模的并发序列回归与生成
机器学习
2023-08-25 v3 人工智能
计算与语言
生物大分子
摘要
尽管生成模型在自然科学中取得显著进展，其可控性仍具挑战。分子或蛋白质生成模型一个根本缺失的归纳偏置是能够反映连续感兴趣属性的能力。为此，我们提出回归Transformer (RT)，一种将回归抽象为条件序列建模问题的新方法。这引入了多任务语言模型的新范式，无缝桥接序列回归与条件序列生成。我们充分证明，尽管使用名义尺度训练目标，RT在小分子、蛋白质和化学反应的属性预测任务中匹配或超越传统回归模型性能。关键的是，以连续属性为前缀 priming 同一模型，产生极具竞争力的条件生成模型，在子结构约束、属性驱动的分子生成基准中优于专用方法。我们的双歧方法得益于一种新颖的交替训练方案，使模型能够按期望属性装饰种子序列，例如优化反应产率。总之，RT是首个在生物化学预测与生成任务中同时表现出色的多任务模型的报道。这在属性驱动、化学或蛋白质空间的局部探索中尤具应用价值，并可能为材料设计中的基础模型铺路。复现论文所有实验的代码见：https://github.com/IBM/regression-transformer
引用
@article{arxiv.2202.01338,
title = {Regression Transformer: Concurrent sequence regression and generation for molecular language modeling},
author = {Jannis Born and Matteo Manica},
journal= {arXiv preprint arXiv:2202.01338},
year = {2023}
}
备注
Updated paper, under review; Preliminary version as spotlight talk at ICLR 2022 workshop on Machine Learning for Drug Discovery