韵律与文本传达了什么？刻画有意义信息在多通道中的分布

韵律——语音的旋律——传达了通常无法由消息中的词语或文本捕获的关键信息。在本文中，我们提出了一种信息论方法来量化韵律单独表达了多少信息以及文本没有表达多少信息，并关键性地刻画这些信息是关于什么内容的。我们的方法利用大规模语音和语言模型来估计话语某一含义维度（例如其情感）与其任意通信通道（例如音频或文本）之间的互信息。随后我们利用该方法量化音频和文本关于讽刺、情感和疑问性所传达的信息量，使用来自电视和播客的语音。我们发现，对于讽刺和情感，音频通道——由此推及韵律通道——传输的关于这些特征的信息量比单独文本通道多出至少一个数量级，至少在当前句子之外的长期上下文不可用的情况下。对于疑问性，韵律提供的额外信息相对较少。我们最后概述了一个将该方法应用于更多含义维度、通信通道和语言的方案。