记住什么：用于音频深度伪造检测的自适应持续学习
声音
2023-12-18 v1 密码学与安全
机器学习
音频与语音处理
摘要
语音合成和语音转换的快速发展引发了实质性担忧，因为此类技术存在被滥用的潜在可能，促使人们迫切需要有效的音频深度伪造检测机制。现有的检测模型在判别已知深度伪造音频方面表现出了显著的成功，但在遇到新的攻击类型时却显得力不从心。为了应对这一挑战，持续学习是一种新兴的有效方法之一。在本文中，我们提出了一种用于音频深度伪造检测的持续学习方法，称为弧度权重修改（RWM）。RWM 的基本概念涉及将所有类别分为两组：跨任务具有紧凑特征分布的类别（如真实音频），以及具有更分散分布的类别（如各种类型的伪造音频）。这些区别通过类内余弦距离来量化，随后作为 RWM 为不同数据类型引入可训练梯度修改方向的基础。针对主流持续学习方法的实验评估揭示了 RWM 在知识获取和缓解音频深度伪造检测中的遗忘方面的优越性。此外，RWM 的适用性超越了音频深度伪造检测，展示了其在图像识别等不同机器学习领域的潜在重要性。
引用
@article{arxiv.2312.09651,
title = {What to Remember: Self-Adaptive Continual Learning for Audio Deepfake Detection},
author = {Xiaohui Zhang and Jiangyan Yi and Chenglong Wang and Chuyuan Zhang and Siding Zeng and Jianhua Tao},
journal= {arXiv preprint arXiv:2312.09651},
year = {2023}
}
备注
Accepted by the main track The 38th Annual AAAI Conference on Artificial Intelligence (AAAI 2024)