WhAM：面向鲸类叫声的翻译模型
机器学习
2025-12-03 v1 声音
摘要
鲸鱼通过称为 codas 的短序列点击进行交流。我们提出了 WhAM（Whale Acoustics Model），这是第一个能够从任意音频提示生成合成鲸鯨 codas 的 transformer 模型。WhAM 通过对 VampNet 进行微调来实现，该模型是在过去二十年收集的 1 万个 coda 录音预训练的掩码声学标记模型。通过迭代的掩码标记预测，WhAM 生成的高保真合成 codas 保留了源录音的关键声学特征。我们使用 Fréchet Audio Distance 评估了 WhAM 的合成 codas，并通过针对专家海洋生物学家的感知研究进行评估。在下游分类任务中，包括节奏、社群单元和元音分类，WhAM 的学习表示尽管是为生成而训练，却实现了强大的性能。我们的代码已公开于 https://github.com/Project-CETI/wham。
关键词
引用
@article{arxiv.2512.02206,
title = {WhAM: Towards A Translative Model of Sperm Whale Vocalization},
author = {Orr Paradise and Pranav Muralikrishnan and Liangyuan Chen and Hugo Flores García and Bryan Pardo and Roee Diamant and David F. Gruber and Shane Gero and Shafi Goldwasser},
journal= {arXiv preprint arXiv:2512.02206},
year = {2025}
}
备注
NeurIPS 2025