Alignment Adapter：提高压缩深度学习模型性能的对齐适配器
机器学习
2026-02-17 v1 计算与语言
信息检索
摘要
压缩深度学习（DL）模型对于资源受限环境的部署至关重要，但其性能常常落后于大规模模型。为弥合这一差距，我们提出了 Alignment Adapter（AlAd）：一种轻量级、基于滑动窗口的适配器。AlAd 对齐压缩模型与原始大型模型的 token 级嵌入。AlAd 保留局部语境语义，支持在不同维度或架构之间进行灵活对齐，且完全不依赖于底层压缩方法。AlAd 可以两种方式部署：作为覆盖在冻结压缩模型上的即插即用模块，或通过联合微调 AlAd 与压缩模型以获得进一步性能提升。在 BERT 系列模型上的三个 token 级 NLP 任务实验中，我们证明 AlAd 仅在尺寸和延迟方面增加细微开销，即可显著提升压缩模型的性能。
引用
@article{arxiv.2602.14635,
title = {Alignment Adapter to Improve the Performance of Compressed Deep Learning Models},
author = {Rohit Raj Rai and Abhishek Dhaka and Amit Awekar},
journal= {arXiv preprint arXiv:2602.14635},
year = {2026}
}