Transformer模型用于蛋白质功能预测的内在机制洞察
机器学习
2024-02-12 v2 生物大分子
摘要
动机：我们探索了可解释人工智能（XAI）如何有助于揭示用于蛋白质功能预测的神经网络的内在机制，通过扩展广泛使用的XAI方法——积分梯度，使得可以检查微调至基因本体术语和酶委员会编号预测的transformer模型内部的潜在表示。结果：该方法使我们能够识别序列中transformer特别关注的氨基酸，并表明这些相关序列部分反映了生物学和化学的预期，无论是在嵌入层还是在模型内部，我们在其中识别出了具有归因图与真实序列注释（例如跨膜区域、活性位点）跨许多蛋白质统计显著对应的transformer头。可用性与实现：源代码可在 https://github.com/markuswenzel/xai-proteins 获取。
引用
@article{arxiv.2309.03631,
title = {Insights Into the Inner Workings of Transformer Models for Protein Function Prediction},
author = {Markus Wenzel and Erik Grüner and Nils Strodthoff},
journal= {arXiv preprint arXiv:2309.03631},
year = {2024}
}
备注
26 pages, 12 figures, 5 tables, source code available at https://github.com/markuswenzel/xai-proteins