你还记得吗？克服伪造音频检测中的灾难性遗忘
声音
2023-08-08 v1 机器学习
音频与语音处理
摘要
当前伪造音频检测算法在大多数数据集上已取得令人满意的性能。然而，当处理来自不同数据集的音频时，其性能可能会显著下降。用于克服灾难性遗忘的正交权重修改方法未考虑不同数据集中真实音频之间的相似性。为克服这一局限，我们提出了一种用于伪造音频检测的持续学习算法以克服灾难性遗忘，称为正则化自适应权重修改（Regularized Adaptive Weight Modification, RAWM）。在微调检测网络时，我们的方法根据真实语音与伪造语音的比例自适应地计算权重修改方向。该自适应修改方向确保网络能有效检测新数据集上的伪造音频，同时保留其对旧模型的知识，从而缓解灾难性遗忘。此外，采集自差异显著的声学条件的真实音频可能使其特征分布偏斜，因此我们引入正则化约束以迫使网络记住旧有的分布。我们的方法可轻松推广至相关领域，如语音情感识别。我们还在多个数据集上评估了该方法，并在跨数据集实验中取得了显著的性能提升。
引用
@article{arxiv.2308.03300,
title = {Do You Remember? Overcoming Catastrophic Forgetting for Fake Audio Detection},
author = {Xiaohui Zhang and Jiangyan Yi and Jianhua Tao and Chenglong Wang and Chuyuan Zhang},
journal= {arXiv preprint arXiv:2308.03300},
year = {2023}
}
备注
40th Internation Conference on Machine Learning (ICML 2023)