面向身体语言识别与生成的深度多模态学习综述
计算机视觉与模式识别
2023-08-21 v1
摘要
身体语言（BL）指通过身体动作、手势、面部表情和姿态表达的非言语交流，是一种无需口语或书面语即可传达信息、情感、态度和意图的交流形式，在人际互动中起关键作用，并可补充甚至取代言语交流。深度多模态学习技术在理解与分析BL这些多样方面已显现潜力。本综述强调其在BL生成与识别中的应用。考虑了几种常见BL，即手语（SL）、视位语（CS）、协同语音（CoS）与说话头（TH），并首次对这四类BL进行分析并建立联系。它们的生成与识别常涉及多模态方法。BL研究的基准数据集被良好收集与整理，并在这些数据集上评估了SOTA方法。综述突出了诸如标注数据有限、多模态学习以及需域适应以将模型泛化至未见说话人或语言等挑战。未来研究方向包括探索自监督学习技术、融合来自其他模态的上下文信息，以及利用大规模预训练多模态模型。总之，本综述论文首次对多种BL生成与识别的深度多模态学习提供了全面理解，通过分析进展、挑战与未来方向，成为推进该领域的研究者与从业者的宝贵资源。此外，我们维护了一个持续更新的深度多模态学习用于BL识别与生成的论文列表：https://github.com/wentaoL86/awesome-body-language。
引用
@article{arxiv.2308.08849,
title = {A Survey on Deep Multi-modal Learning for Body Language Recognition and Generation},
author = {Li Liu and Lufei Gao and Wentao Lei and Fengji Ma and Xiaotian Lin and Jinting Wang},
journal= {arXiv preprint arXiv:2308.08849},
year = {2023}
}