仅语音不够：解读共同知识与参与的非语言指标
计算与语言
2024-12-10 v1 人工智能
摘要
我们的目标是开发一个能够在团体问题解决和社会动态中提供支持的 AI Partner。在多方工作组环境中，多模态分析对于识别群体成员的非语言互动至关重要。结合其语言参与，这创造了对协作和参与的全面理解，为 AI Partner 提供必要的上下文。在本演示中，我们展示了我们在课堂上检测和追踪学生任务导向互动中的非语言行为的当前能力，以及对追踪共同知识和参与度的启示。
引用
@article{arxiv.2412.05797,
title = {Speech Is Not Enough: Interpreting Nonverbal Indicators of Common Knowledge and Engagement},
author = {Derek Palmer and Yifan Zhu and Kenneth Lai and Hannah VanderHoeven and Mariah Bradford and Ibrahim Khebour and Carlos Mabrey and Jack Fitzgerald and Nikhil Krishnaswamy and Martha Palmer and James Pustejovsky},
journal= {arXiv preprint arXiv:2412.05797},
year = {2024}
}
备注
3 pages, 2 figures, appearing at AAAI 2025 Demos Track