AdaPTwin：面向 Transformer 中的产品双胞胎的低成本自适应压缩

虽然基于大型 Transformer 模型在说话人无关语音识别中展现出卓越的性能，但其庞大的规模和计算要求使得在资源受限的环境中昂贵或不可行。本文我们提出一种低秩自适应压缩技术，称为 AdaPTwin，通过联合压缩 Transformer 注意力层中产品相关的权重矩阵对。我们的做法可以在保持对新说话人和声学条件的通用性的同时，优先考虑压缩后模型在特定说话人上的性能。值得注意的是，我们的方法仅需 8 小时的语音数据进行微调，微调时间不到 20 分钟，成本效益极高。我们通过将 Whisper 和 Distil-Whisper 模型压缩最高达 45%，且仅增加不到 2% 的词错误率来展示我们方法的有效性。