确定性连续替换：预训练变换器中快速稳定的模块替换
机器学习
2025-11-25 v1 人工智能
计算机视觉与模式识别
摘要
替换预训练模型中的模块（尤其是将二次自注意力替换为高效注意力替代方案）是一个困难的优化问题：冷启动重新初始化会 destabilize 冻结的主干网络。我们在受控研究中隔离了这一核心稳定性挑战。确定性连续替换（Deterministic Continuous Replacement, DCR）将教师和学生输出与确定性、退火权重混合。理论上，DCR 消除了随机替换中固有的门控引起的梯度方差。在单一随机种子下，DCR 在受控注意力替换上实现更快的收敛和更强的对齐，优于随机门控和蒸馏基线，为异构算子交换奠定了基础。
引用
@article{arxiv.2511.18670,
title = {Deterministic Continuous Replacement: Fast and Stable Module Replacement in Pretrained Transformers},
author = {Rowan Bradbury and Aniket Srinivasan Ashok and Sai Ram Kasanagottu and Gunmay Jhingran and Shuai Meng},
journal= {arXiv preprint arXiv:2511.18670},
year = {2025}
}
备注
Accepted to NeurIPS 2025 ScaleOPT Workshop; 8 pages; includes figures