多模态语境下的词汇提取假说
计算与语言
2023-05-30 v1
摘要
由于日益增长的对跨通道人类交际进行理解与解释的需求，多模态语料库已成为语言科学以及具身自然语言处理（NLP）系统不可或缺的语言资源。本文中，我们首先介绍构建首个台湾语言多模态语料库（MultiMoco）的工作。基于该语料库，我们开展案例研究以探究词汇提取假说（LRH），具体考察与言语常量共现的手势是促进词汇提取还是服务于其他话语功能。通过对台湾普通话中八场议会质询的详细标注，我们探究了言语常量与非言语特征（即头部运动、面部运动、手势及手势功能）之间的共现关系。我们的发现表明，尽管手势在某些情况下确实作为词汇提取的促进因素，它们也起到信息强调的作用。本研究凸显了 MultiMoco 语料库作为重要资源，在多模态交际研究的深入分析与进一步探索中的潜力。
引用
@article{arxiv.2305.17663,
title = {Lexical Retrieval Hypothesis in Multimodal Context},
author = {Po-Ya Angela Wang and Pin-Er Chen and Hsin-Yu Chou and Yu-Hsiang Tseng and Shu-Kai Hsieh},
journal= {arXiv preprint arXiv:2305.17663},
year = {2023}
}