深入考察 Kronecker 适配器：组件设计的重要性
机器学习
2026-02-03 v1
摘要
Kronecker 适配器已成为大规模模型微调的有前景方法，能够通过可调组件结构实现高秩更新。然而，现有工作大致将组件结构视为固定或启发式的设计选择，未充分探讨 Kronecker 组件的维度和数量。本文识别到组件结构是决定 Kronecker 适配器容量的关键因素。我们对 Kronecker 组件的维度和数量进行了细粒度分析。特别是，我们表明 Kronecker 适配器与完整微调之间的对齐性取决于组件配置。基于这些洞见，我们提出了组件设计 Kronecker 适配器 (CDKA)。我们进一步提供了基于参数预算的配置指南和针对实际部署的训练稳定策略。跨越各种自然语言处理任务的实验表明，CDKA 的效果令人满意。代码已公开于 https://github.com/rainstonee/CDKA。
关键词
引用
@article{arxiv.2602.01267,
title = {Diving into Kronecker Adapters: Component Design Matters},
author = {Jiayu Bai and Danchen Yu and Zhenyu Liao and TianQi Hou and Feng Zhou and Robert C. Qiu and Zenan Ling},
journal= {arXiv preprint arXiv:2602.01267},
year = {2026}
}