概率 Transformer：为 RNA 折叠与分子设计建模型模糊性与分布
机器学习
2023-07-19 v2 生物大分子
摘要
我们的世界充满模糊性，这反映在我们用于训练算法的数据中。当我们试图对自然过程建模时尤为如此，所收集数据受噪声测量与测量技术差异影响。有时过程本身即具模糊性，例如 RNA 折叠中同一核苷酸序列可折叠为不同结构。这表明预测模型应具备类似概率特性以匹配其所建数据。因此，我们提出一种层次化隐变量分布，以增强最成功的深度学习模型之一 Transformer，从而容纳模糊性与数据分布。我们展示了该方法之优势：（1）在一个捕捉学习隐数据分布能力的合成任务上；（2）在 RNA 折叠中以 SOTA 结果揭示其对高度模糊数据的优势；（3）通过在基于属性的分子设计上隐式学习底层分布并优于现有工作，展示其生成能力。
引用
@article{arxiv.2205.13927,
title = {Probabilistic Transformer: Modelling Ambiguities and Distributions for RNA Folding and Molecule Design},
author = {Jörg K. H. Franke and Frederic Runge and Frank Hutter},
journal= {arXiv preprint arXiv:2205.13927},
year = {2023}
}
备注
38 pages, Accepted at 36th Conference on Neural Information Processing Systems (NeurIPS 2022)