向社交 AI 迈进：理解社交互动的调查综述
人机交互
2024-10-02 v2
摘要
社交互动构成人类社会的基础。人工智能在某些领域取得了显著进展，但让机器能够无缝理解社交互动仍是一个开放的挑战。必须通过赋予机器社交能力来弥补这一差距。我们识别了三项有效社交理解所必需的关键能力：1) 理解多模态社交线索，2) 理解多方互动动态，3) 理解信念。建立在这些基础之上，我们从 verbal、non-verbal 和 multimodal 社交线索的角度对现有机器学习在社交理解方面的工作进行分类和综述。 verbal 分支聚焦于理解语言信号，如说话者意图、对话情感和常识推理。non-verbal 分支则涉及从身体姿势、凝视模式和面部表情等视觉行为中感知社交意义的技术。multimodal 分支涵盖了整合 verbal 和 non-verbal 多模态线索以全面解读社交互动的方法，如情绪识别、对话动态和社交情境。通过审视当前方法和基准的范围与局限性，我们旨在阐明发展轨迹，为更全面的社交理解智能铺路。我们希望本调查能激发对该领域的进一步研究兴趣和见解。
引用
@article{arxiv.2409.15316,
title = {Towards Social AI: A Survey on Understanding Social Interactions},
author = {Sangmin Lee and Minzhi Li and Bolin Lai and Wenqi Jia and Fiona Ryan and Xu Cao and Ozgur Kara and Bikram Boote and Weiyan Shi and Diyi Yang and James M. Rehg},
journal= {arXiv preprint arXiv:2409.15316},
year = {2024}
}