多模态社交智能体

近年来，大型语言模型（LLM）在常见语义推理任务中展现出显著的进步。这种能力是理解社交动态、互动与沟通的基础。然而，将计算机与这些社交能力相结合的潜力仍相对未被充分探索。本文介绍了 MuSA（Multimodal Social Agent），一种基于多模态大型语言模型的智能体，用于针对特定人类中心内容分析任务，对文本丰富的社交内容进行分析，包括问答、视觉问答、标题生成和内容分类。它运用计划、推理、行动、优化、批判和细化等策略完成任务。我们的方法表明，MuSA 能够自动化并提升社交内容分析，有助于在 various 应用场景中支持决策过程。我们对该智能体在问答、标题生成和内容分类任务中的能力进行了评估。实验结果表明，MuSA 在所有基线任务上均表现出显著优势。