使用深度神经网络研究听觉与语义夹带之间的关系
计算与语言
2023-12-29 v1 声音
音频与语音处理
摘要
人们在互动时倾向于表现出相似、匹配或同步的行为，这被称为夹带。许多研究考察了语言（句法和词汇结构）和副语言（音高、强度）夹带，但较少关注它们之间的关系。在本研究中，我们利用最先进的DNN嵌入，如BERT和TRIplet Loss网络（TRILL）向量，提取特征以测量两种不同语言的两个可比口语语料库中对话轮次的语义和听觉相似性。我们发现，与听觉特征相比，人们更倾向于在语义特征上夹带。此外，我们发现语义和听觉语言特征中的夹带呈正相关。本研究的结果可能有助于在人机交互（HMI）中实现夹带机制。
引用
@article{arxiv.2312.16599,
title = {Relationship between auditory and semantic entrainment using Deep Neural Networks (DNN)},
author = {Jay Kejriwal and Štefan Beňuš},
journal= {arXiv preprint arXiv:2312.16599},
year = {2023}
}
备注
Interspeech 2023