推理时域信息控制用于声学场景分类
声音
2023-06-16 v1 人工智能
音频与语音处理
摘要
域偏移被认为是机器学习中的一项挑战，因为它会导致模型性能显著下降。在声学场景分类（ASC）任务中，域偏移主要由不同的录音设备引起。若干研究已致力于域泛化以提升 ASC 模型在 unseen 域（如新设备）上的性能。近期，可控门适配器 ConGater 在自然语言处理中被提出以解决训练数据有偏问题。ConGater 允许在推理时控制去偏过程。ConGater 的主要优势是在推理期间对训练好的模型进行连续且选择性的去偏。在本工作中，我们将 ConGater 适配到音频频谱图 transformer 以用于声学场景分类任务。我们展示了 ConGater 可用于选择性地调整所学表征，使其对设备域偏移（如录音设备）保持不变性。我们的分析表明，ConGater 能够逐步从所学表征中移除设备信息并改善模型泛化，尤其在域偏移条件下（如 unseen 设备）。我们展示了信息移除可扩展到设备域与位置域。最后，我们证明了 ConGater 无需进一步训练即可增强特定设备的性能。
引用
@article{arxiv.2306.08010,
title = {Domain Information Control at Inference Time for Acoustic Scene Classification},
author = {Shahed Masoudian and Khaled Koutini and Markus Schedl and Gerhard Widmer and Navid Rekabsaz},
journal= {arXiv preprint arXiv:2306.08010},
year = {2023}
}