分解演化型混合 LoRA 架构：路由杠杆、生命周期惩罚及基底条件边界
摘要
我们将从零开始构建的约150万参数扩张 D 基底（D=1536, V=32000; D/V 约0.048; 此“widened-1536”基底）上的演化型混合 LoRA 系统分解为三个因素——路由重写（并行 sigmoid 门，带可学习每个适配器底部和受限温度退火，输入后堆叠隐藏状态而非 token 嵌入均值）、每个领域的leave-one-out 评估范围、以及生命周期（死亡+alpha 混合继承+SVD 变异+槽位重新分配）——并报告在 n=3 随机种子和每个单元25000适应步骤下进行的5/8部分 阶乘实验。归因链在此基底上较为尖锐：路由重写携带了整个+0.0426 nat 平衡 log PPL 改善（Delta = log PPL_ref - log PPL_test, 正值表示改善；t=12.86, p=0.006）归因于“完整演化系统与静态 B3 基线”； headline 全系统与 B3 平衡对照本身为+0.015 nats，t=1.94, p=0.19，n=3 不达到 alpha=0.05。每个领域的评估范围在随机种子分辨率下为零，生命周期约为-0.028 nats 的净负担（t=-4.46, p=0.047 在主链中）。在n=3随机种子下的辅助 alpha=0 继承反事实在 headline 指标上不一致且统计效力不足以得出等价或关键性结论（更正为之前误用的算术均值聚合器错误地通过了继承；见附录 B.11）。一个基底扰动探针方向性地否定了“基因组背景”对生命周期作用的重新表述。一个可控的合成沙盒定位到了基底条件的 regime 边界：在适配器预先对齐任务时，路由通道上的演化搜索才为关键；在测试的其他所有情形下，它要么表现不佳，要么持平，要么主动降低梯度解。
引用
@article{arxiv.2605.11153,
title = {Decomposing Evolutionary Mixture-of-LoRA Architectures: The Routing Lever, the Lifecycle Penalty, and a Substrate-Conditional Boundary},
author = {Ramchand Kumaresan},
journal= {arXiv preprint arXiv:2605.11153},
year = {2026}
}