SocialMind：基于大语言模型的主动式增强现实社交辅助系统，具备类人感知能力以支持现场实时互动
人工智能
2024-12-06 v1
摘要
社交互动是人类生活的基础。近年来，基于大语言模型（LLM）的虚拟助手的出现展示了其彻底改变人类互动和生活方式的潜力。然而，现有的辅助系统主要向个体用户提供被动服务，而非在与会话伙伴的实时社交互动中提供现场辅助。在本研究中，我们介绍了SocialMind，这是首个基于LLM的主动式增强现实社交辅助系统，为用户提供现场社交辅助。SocialMind采用类人感知，利用多模态传感器提取言语和非言语线索、社交因素及隐含人格，并将这些社交线索融入LLM推理以生成社交建议。此外，SocialMind采用多层协作生成策略和主动更新机制，在增强现实（AR）眼镜上显示社交建议，确保在不干扰对话自然流畅的前提下及时向用户提供建议。在三个公开数据集上的评估和一项包含20名参与者的用户研究表明，SocialMind的参与度比基线高出38.3%，且95%的参与者愿意在实时社交互动中使用SocialMind。
引用
@article{arxiv.2412.04036,
title = {SocialMind: LLM-based Proactive AR Social Assistive System with Human-like Perception for In-situ Live Interactions},
author = {Bufang Yang and Yunqi Guo and Lilin Xu and Zhenyu Yan and Hongkai Chen and Guoliang Xing and Xiaofan Jiang},
journal= {arXiv preprint arXiv:2412.04036},
year = {2024}
}