基于支持集的下游光纤声学识别适配方法 CLAP-S
音频与语音处理
2025-01-20 v1 机器学习
摘要
对比语言-音频预训练（CLAP）模型在 various acoustic signal recognition 任务中展现了卓越的性能。光纤基于声学识别是最重要的下游任务之一，在环境传感中发挥着重要作用。针对 CLAP 适用于光纤声学识别的挑战不断增长，该研究成为活跃的研究领域。作为一种非传统声学传感器，光纤声学识别 presents a 挑战性的、特定于领域的、低样本部署环境，由于独特的频率响应和噪声特性，存在显著的领域偏移。在面对这些挑战时，我们提出了一种基于支持集的适应方法CLAP-S，该方法通过线性插值将 CLAP Adapter 与 Support Set 结合起来，既利用通过 fine-tuning 获得的隐式知识，又从记忆中检索的显式知识进行跨域泛化。实验结果表明，我们的方法在实验室记录的光纤 ESC-50 数据集和真实世界的光纤枪声-烟花数据集上都能实现具有竞争力的性能。我们的研究还为其他下游声学识别任务提供了宝贵的见解。代码和枪声-烟花数据集均可在 https://github.com/Jingchensun/clap-s 获取。
引用
@article{arxiv.2501.09877,
title = {CLAP-S: Support Set Based Adaptation for Downstream Fiber-optic Acoustic Recognition},
author = {Jingchen Sun and Shaobo Han and Wataru Kohno and Changyou Chen},
journal= {arXiv preprint arXiv:2501.09877},
year = {2025}
}
备注
Accepted to ICASSP 2025