结合语言模型与领域相关辅助任务的分子表示学习
机器学习
2020-11-30 v1 人工智能
摘要
我们应用Transformer架构（具体为BERT）学习灵活且高质量的分子表示，用于药物发现问题。我们研究预训练中使用不同自监督任务组合的影响，并给出在已建立的虚拟筛选与QSAR基准上的结果。我们表明：i) 预训练中恰当自监督任务的选择对后续下游任务（如虚拟筛选）性能有显著影响。ii) 使用对化学更具领域相关性的辅助任务（如学习预测计算分子性质）提升了所学表示的保真度。iii) 最后，我们表明由我们的模型‘MolBert’学到的分子表示在基准数据集上优于当前最先进水平。
引用
@article{arxiv.2011.13230,
title = {Molecular representation learning with language models and domain-relevant auxiliary tasks},
author = {Benedek Fabian and Thomas Edlich and Héléna Gaspar and Marwin Segler and Joshua Meyers and Marco Fiscato and Mohamed Ahmed},
journal= {arXiv preprint arXiv:2011.13230},
year = {2020}
}