基于深度神经网络的会话语音无监督趋同距离研究
音频与语音处理
2019-04-15 v1 计算与语言
声音
摘要
趋同（entrainment）是一种已知的适应机制，导致交互参与者调整或同步其声学特征。理解对话者如何通过趋同适应彼此的说话风格，涉及测量一系列声学特征并通过多种信号比较方法进行比较。在本工作中，我们提出一种以无监督方式使用深度神经网络（DNN）模型获得的轮次级距离度量，称之为神经趋同距离（NED）。该度量建立了一个框架，从未标注的训练语料库中的群体范围趋同学习嵌入表示。我们将该框架用于一组声学特征，并通过展示其在区分真实对话与通过随机打乱说话者轮次创建的伪造对话方面的有效性来实验验证该度量。此外，我们给出了所提度量有效性的真实世界证据。我们发现，NED 的高值与自杀评估访谈中情感纽带的高评分相关，这与先前研究一致。
引用
@article{arxiv.1804.08782,
title = {Towards an Unsupervised Entrainment Distance in Conversational Speech using Deep Neural Networks},
author = {Md Nasir and Brian Baucom and Shrikanth Narayanan and Panayiotis Georgiou},
journal= {arXiv preprint arXiv:1804.08782},
year = {2019}
}
备注
submitted to Interspeech 2018