面向 Transformer 基因组语言模型 DNABERT-2 的后验解释评估
机器学习
2026-04-24 v1
摘要
解释深度神经网络在基因组序列上的预测结果有助于生物学上的洞见和假设生成——这往往比预测性能本身更具兴趣。虽然卷积神经网络（CNN）的解释已被证明能够捕获基因组序列中的相关模式，但尚不清楚这种解释能力是否可移植到更具表达力的 Transformer 基因组语言模型（gLMs）。为此，我们采用层wise relevance propagation（LRP）的扩展方法 AttnLRP，用于注意力机制，并将其应用于当前最先进的 gLM DNABERT-2。从而，我们提出了从 token 级别和核苷酸级别传递解释的策略。我们使用多种指标对 AttnLRP 在基因组数据集上的适配性进行评估。进一步，我们提供了 DNABERT-2 与基线 CNN 解释的广泛比较。我们的结果表明，AttnLRP 能产生对应已知生物学模式的可靠解释。因此，像 CNN 一样，gLMs 也有助于推导生物学洞见。这项工作促进了 gLMs 的可解释性，同时解决了跨不同架构相关性归因的可比性问题。
引用
@article{arxiv.2604.21690,
title = {Evaluating Post-hoc Explanations of the Transformer-based Genome Language Model DNABERT-2},
author = {Isabel Kurth and Paulo Yanez Sarmiento and Bernhard Y. Renard},
journal= {arXiv preprint arXiv:2604.21690},
year = {2026}
}
备注
Accepted at the 4th World Conference on Explainable Artificial Intelligence, XAI-2026