StructuredDNA: 一种用于能量感知 Transformer 路由的生物物理框架
机器学习
2025-12-11 v1
摘要
大型计算模型的快速扩展导致了能源和计算成本的关键增加。受生物系统中结构和功能从低能构型中涌现的启发，我们引入了 StructuredDNA，一个用于模块化、能量感知 Transformer 路由的稀疏架构框架。StructuredDNA 用生物物理的、能量引导的路由层取代了密集的专家混合路由，该路由层基于语义能量最小化。输入被动态分组为语义密码子，路由通过最小化结合凝聚力、不确定性和计算成本的全局能量泛函来选择单个专家。我们在专门化基准（BioASQ）和开放域基准（WikiText-103）上验证了 StructuredDNA。在 BioASQ（K = 50）上，我们实现了 97.7% 的能源利用密度（EUD）降低，语义稳定性指数（SSI）为 0.998。我们进一步在 WikiText-103 上展示了语义缩放定律，表明该架构通过扩展专家粒度（K = 2048）泛化到开放域，同时保持超过 99% 的能源效率。因此，StructuredDNA 为未来的稀疏计算框架建立了一个稳健的、领域无关的范式。StructuredDNA 在生物物理原理与 Transformer 架构中的稀疏专家路由之间建立了明确的联系，并指向了未来能量感知、模块化和可扩展的计算系统。我们讨论了这一概念验证研究的局限性，并概述了将该方法扩展到更大模型、数据集和硬件平台的方向。StructuredDNA 的实现可在 https://github.com/InnoDeep-repos/StructuredDNA 获取。
引用
@article{arxiv.2512.08968,
title = {StructuredDNA: A Bio-Physical Framework for Energy-Aware Transformer Routing},
author = {Mustapha Hamdi},
journal= {arXiv preprint arXiv:2512.08968},
year = {2025}
}