现代 Hopfield 网络与注意力机制在免疫组库分类中的应用
机器学习
2021-02-23 v1 生物大分子
机器学习
摘要
机器学习中的一个核心机制是识别、存储和识别模式。如何学习、访问和检索此类模式在 Hopfield 网络以及更近的 transformer 架构中至关重要。我们表明，transformer 架构的注意力机制实际上是现代 Hopfield 网络的更新规则，该网络可存储指数级多的模式。我们利用现代 Hopfield 网络的高存储容量来解决计算生物学中一个具有挑战性的多示例学习（MIL）问题：免疫组库分类。解决该问题的准确且可解释的机器学习方法可能为新型疫苗和疗法铺平道路，这是当前由 COVID-19 危机加剧的非常相关的研究课题。基于个体大量免疫序列的免疫组库分类是一个具有空前大规模示例数的 MIL 问题，比当前考虑的问题大两个数量级，且见证率极低。在这项工作中，我们提出新方法 DeepRC，将类 transformer 的注意力机制（或等价的现代 Hopfield 网络）集成到用于大规模 MIL（如免疫组库分类）的深度学习架构中。我们证明 DeepRC 在大规模实验（包括模拟和真实世界病毒感染数据）的预测性能上优于所有其他方法，并能够提取与给定疾病类别相关的序列基序。源代码与数据集：https://github.com/ml-jku/DeepRC
引用
@article{arxiv.2007.13505,
title = {Modern Hopfield Networks and Attention for Immune Repertoire Classification},
author = {Michael Widrich and Bernhard Schäfl and Hubert Ramsauer and Milena Pavlović and Lukas Gruber and Markus Holzleitner and Johannes Brandstetter and Geir Kjetil Sandve and Victor Greiff and Sepp Hochreiter and Günter Klambauer},
journal= {arXiv preprint arXiv:2007.13505},
year = {2021}
}
备注
10 pages (+appendix); Source code and datasets: https://github.com/ml-jku/DeepRC