冻结与学习:基于语音深度伪造检测中选择性冻结的持续学习方法
声音
2024-09-27 v1 音频与语音处理
摘要
在语音深度伪造检测领域,一个关键方面是开发能够对未见数据进行泛化并区分不同数据集中伪造信号的检测器。常见的解决方法包括纳入多样化数据进行训练或对未见数据集进行微调。然而,这些解决方案可能计算负担沉重,且可能导致对先前学习数据所获取知识的丢失。持续学习技术为这一问题提供了潜在解决方案,使模型能够在不丢失已有知识的前提下从未见数据中学习。然而,如何将这些算法最佳地应用于语音深度伪造检测仍不明确,我们也不知道这些算法如何最好地应用于所开发的模型。本文针对这一方面进行探讨,研究在重新训练语音深度伪造检测器时,是更有效地整个模型上应用持续学习,还是只更新其中一些层而冻结其他层。我们的发现表明,在所分析的多种方法中,最有效的方法是仅更新负责处理检测器输入特征的初始层的权重。
引用
@article{arxiv.2409.17598,
title = {Freeze and Learn: Continual Learning with Selective Freezing for Speech Deepfake Detection},
author = {Davide Salvi and Viola Negroni and Luca Bondi and Paolo Bestagini and Stefano Tubaro},
journal= {arXiv preprint arXiv:2409.17598},
year = {2024}
}
备注
Submitted to ICASSP 2025