面向持续说话者身份遗忘的最低干扰方案
声音
2026-05-26 v1 人工智能
摘要
机器遗忘移除预训练模型中指定概念或知识的最新工作已将该范例扩展到文本到语音 (TTS) 中的说话者身份遗忘，即选择性擦除模型复制特定说话者语音能力的任务。现有方法则安静地假设所有遗忘请求一次性到达，这一假设在隐私动机驱动的移除随时间顺序到达的情况下并不现实。我们指出，这一假设会破坏最先进的方法：对每个新说话者进行遗忘会完全唤醒先前遗忘的说话者，重新引入遗忘原本旨在消除的隐私风险。我们提出了 Cumulative ORThogonal Identity Suppression (CORTIS)，这是首个在 ZS-TTS 中实现持续说话者身份遗忘的框架，无需访问先前遗忘说话者的数据。CORTIS 将 Fisher 信息基于参数遮蔽，这将更新局部化到说话者相关权重，与先前遗忘更新张成的正交投影相结合。通过 VoiceBox，CORTIS 在长时间序列请求中对每个请求的说话者进行遗忘，同时保持先前遗忘说话者被遗忘的状态，显著优于顺序应用先前方法。演示地址为 https://cumulativeortis.github.io/。
引用
@article{arxiv.2605.25962,
title = {Continual Speaker Identity Unlearning with Minimal Interference},
author = {Jinju Kim and Yunsung Kang and Gyeong-Moon Park and Jong Hwan Ko},
journal= {arXiv preprint arXiv:2605.25962},
year = {2026}
}
备注
preprint