Transformer 查询-目标知识发现(TEND)：基于 CORD-19 的药物发现
计算与语言
2020-12-14 v2 信息检索
机器学习
摘要
先前工作确立 skip-gram word2vec 模型可用于挖掘材料科学文献中的知识以发现热电材料。近期 transformer 架构在语言建模及相关微调任务上取得重大进展，但尚未被适配于药物发现。我们提出一种基于 RoBERTa transformer 的方法，其利用查询-目标条件扩展掩码语言标记预测以应对特异性挑战。该 transformer 发现方法相较 word2vec 方法具有若干优势，包括领域特定(抗病毒)类比性能、否定处理及灵活查询分析(特异性)，并于流感药物发现中演示。为刺激 COVID-19 研究，我们发布了本研究中与 COVID-19 开放研究数据集挑战(CORD-19)文献数据集结合使用的流感临床试验与抗病毒类比数据集。我们考察了 k-shot 微调以提升下游类比性能并挖掘类比以增强模型可解释性。进而，在适配用于 COVID-19 药物(组合与副作用)及进行中临床试验之前，该查询-目标分析于前向链分析中对流感药物临床试验数据集进行了验证。鉴于当前主题，我们发布了模型、数据集与代码。
引用
@article{arxiv.2012.04682,
title = {Transformer Query-Target Knowledge Discovery (TEND): Drug Discovery from CORD-19},
author = {Leo K. Tam and Xiaosong Wang and Daguang Xu},
journal= {arXiv preprint arXiv:2012.04682},
year = {2020}
}