自发语音中的非语言信息——迈向新的分析框架
声音
2024-03-14 v2 计算与语言
机器学习
音频与语音处理
摘要
语音中的非语言信号由韵律编码，携带的信息范围从对话行为到态度和情感。尽管其重要性不言而喻，但支配韵律结构的原则尚未被充分理解。本文提供了一个分析模式和技术概念验证，用于对韵律信号进行分类并将其与意义关联。该模式解释了多层韵律事件的表面表示。作为实施的第一步，我们展示了一个分类过程，该过程解耦了三个阶次的韵律现象。它依赖于微调预训练的语音识别模型，从而实现同时的多类/多标签检测。该方法泛化于各种自发数据，表现与人工标注相当或更优。除了韵律的标准化形式化之外，解耦韵律模式可以指导沟通和语音组织理论。一个受欢迎的副产品是对韵律的解读，这将增强语音和语言相关技术。
引用
@article{arxiv.2403.03522,
title = {Non-verbal information in spontaneous speech -- towards a new framework of analysis},
author = {Tirza Biron and Moshe Barboy and Eran Ben-Artzy and Alona Golubchik and Yanir Marmor and Smadar Szekely and Yaron Winter and David Harel},
journal= {arXiv preprint arXiv:2403.03522},
year = {2024}
}