基于谱系信息的低秩适应用于说话人验证
音频与语音处理
2025-02-10 v4 声音
摘要
先前的研究表明，预训练模型权重矩阵的主奇异向量捕获了关键知识，而与小奇异值相关的向量可能包含噪声或不够可靠的信息。因此，基于低秩适应（LoRA）的参数高效微调（PEFT）方法由于未限制谱空间的使用，可能无法有效应用于需要高表示能力的任务。本研究通过纳入预训练权重矩阵的谱信息来增强现有的PEFT技术。我们针对性地研究了基于添加顶部奇异向量的谱适应策略。这一方法通过对预训练权重矩阵进行奇异值分解（SVD），并将微调限制在顶级谱空间内来实现。针对VoxCeleb1和CN-Celeb1进行大规模说话人验证实验，证明了所提出方法能够实现更好的调优性能。代码已发布于https://github.com/lizhepolyu/SpectralFT。
引用
@article{arxiv.2501.03829,
title = {Spectral-Aware Low-Rank Adaptation for Speaker Verification},
author = {Zhe Li and Man-wai Mak and Mert Pilanci and Hung-yi Lee and Helen Meng},
journal= {arXiv preprint arXiv:2501.03829},
year = {2025}
}
备注
Accepted by ICASSP 2025