GmSLM: 生成性狨猴语音语言建模
计算与语言
2025-09-16 v2
摘要
狨猴表现出复杂的发声交流，挑战了非人类灵长类动物的发声交流完全是先天性的观点，并展现出与人类语音相似的特征，如对他人的发声标记和轮流交谈。研究它们的发声交流提供了一个独特的机会，将其与大脑活动联系起来——尤其考虑到在语音和语言研究中难以获取人类大脑。由于狨猴主要通过发声进行交流，因此应用标准的LLM方法并不直接。我们提出了生成性狨猴语音语言建模(GmSLM)，一种针对狨猴发声交流的优化语音语言模型流水线。我们设计了基于无标签野外数据和弱标签对话数据的新型零样本评估指标，以评估GmSLM并证明其优于基于人类语音的基线。GmSLM生成的发声在声学上与真实重合成样本高度匹配，并在下游任务上表现良好。尽管完全无监督，GmSLM能有效区分真实与人工对话，并可能支持对发声交流神经基础的进一步研究，同时提供了一个将发声与大脑活动联系的实用框架。我们相信GmSLM将使神经学、生物声学和进化生物学的未来研究受益。样本地址：pages.cs.huji.ac.il/adiyoss-lab/GmSLM。
引用
@article{arxiv.2509.09198,
title = {GmSLM : Generative Marmoset Spoken Language Modeling},
author = {Talia Sternberg and Michael London and David Omer and Yossi Adi},
journal= {arXiv preprint arXiv:2509.09198},
year = {2025}
}