面向水下声学分析中自监督学习的自动化数据治理
声音
2025-05-27 v1 人工智能
音频与语音处理
摘要
海洋生态系统的可持续性正受到日益严重的噪声污染的威胁，这使得监测对于理解其变异性和影响至关重要。被动声学监测（PAM）系统收集了大量的水下声音记录，但庞大的数据量使得人工分析无法实现，因此产生了对自动化的需求。尽管机器学习提供了一种潜在的解决方案，但大多数水下声学记录都是无标签的。自监督学习模型已在计算机视觉、自然语言处理和音频等多个领域证明了其从大规模无标签数据中学习的能力。然而，这些模型需要大型、多样且平衡的数据集进行训练才能很好地泛化。为了解决这个问题，我们提出了一条完全自动化的自监督数据治理流水线，用于从原始PAM数据中创建一个多样且平衡的数据集。它将自动识别系统（AIS）数据与美国水域中各种水听器的记录相结合。利用层次k均值聚类，对原始音频数据进行采样，然后与AIS样本结合，以创建一个平衡且多样的数据集。由此产生的策展数据集使得自监督学习模型的开发成为可能，从而促进诸如监测海洋哺乳动物和评估声音污染等多种任务。
引用
@article{arxiv.2505.20066,
title = {Automated data curation for self-supervised learning in underwater acoustic analysis},
author = {Hilde I Hummel and Sandjai Bhulai and Burooj Ghani and Rob van der Mei},
journal= {arXiv preprint arXiv:2505.20066},
year = {2025}
}