META4：基于自监督文本与语音表示的隐喻手势语义对齐生成
人工智能
2023-11-22 v2
摘要
意象图式（Image Schemas）是重复性认知模式，影响我们对言语中各类概念的概念化与推理方式。这些模式深嵌于认知过程中，并反映于包括手势在内的身体表达中。特别是，隐喻手势具备与意象图式一致的本质特征与语义，用以直观表征抽象概念。手势的形状与形式可传达抽象概念，例如伸展前臂与手或用手部运动描画线条以直观表示 PATH 意象图式。先前的行为生成模型主要关注利用语音（声学特征与文本）驱动虚拟智能体的生成模型，未考虑意象图式所承载的关键语义信息以有效生成隐喻手势。为应对此局限，我们提出 META4，一种从语音与意象图式生成隐喻手势的深度学习方法。我们的方法有两个主要目标：从输入文本计算意象图式以捕捉底层语义与隐喻含义，以及由语音与计算所得意象图式驱动生成隐喻手势。我们的方法是首个在利用意象图式潜力的同时生成语音驱动隐喻手势的方法。我们展示了方法的有效性，并凸显了语音与意象图式在隐喻手势建模中的重要性。
引用
@article{arxiv.2311.05481,
title = {META4: Semantically-Aligned Generation of Metaphoric Gestures Using Self-Supervised Text and Speech Representation},
author = {Mireille Fares and Catherine Pelachaud and Nicolas Obin},
journal= {arXiv preprint arXiv:2311.05481},
year = {2023}
}