用于DNA序列分类的玻尔兹曼机增强Transformer

DNA序列分类不仅需要高预测精度，还需要揭示潜在位点相互作用、组合调控和类似上位性的高阶依赖关系。虽然标准Transformer具有强大的全局建模能力，但其softmax注意力是连续的、稠密的且弱约束的，使其更适合信息路由而非显式结构发现。本文提出了一种用于DNA序列分类的玻尔兹曼机增强Transformer。基于多头注意力，该模型引入结构化二值门控变量来表示潜在查询-键连接，并使用玻尔兹曼风格能量函数对其施加约束。查询-键相似性定义局部偏置项，可学习的成对交互捕获边之间的协同与竞争，潜在隐藏单元建模高阶组合依赖。由于对离散门控图的精确后验推断是不可行的，我们使用平均场变分推断来估计边激活概率，并结合Gumbel-Softmax将连续概率逐步压缩为近离散门控，同时保持端到端可微分性。训练期间联合优化分类损失和能量损失，鼓励模型在实现准确预测的同时偏好低能量、稳定且可解释的结构。我们进一步从能量函数和变分自由能量推导出平均场不动点方程、Gumbel-Softmax松弛和最终联合目标。该框架为整合玻尔兹曼机、可微分离散优化和Transformer进行生物序列的结构化学习提供了统一视角。