Project Riley：具有情感推理与投票的多模态多智能体 LLM 协作

本文提出了 Project Riley，一种新颖的多模态多模型对话式 AI 架构，旨在模拟受情感状态影响的推理。受皮克斯《头脑特工队》的启发，该系统包含五个不同的情感智能体——快乐、悲伤、恐惧、愤怒和厌恶——它们进行结构化的多轮对话，以生成、批评并迭代地改进回复。最终的推理机制将这些智能体的贡献综合成一个连贯的输出，该输出要么反映主导情感，要么整合多种观点。该架构结合了文本和视觉大语言模型（LLMs），以及高级推理和自我完善过程。一个功能原型已在离线环境中本地部署，并针对情感表达能力和计算效率进行了优化。从这个初始原型中，诞生了另一个名为 Armando 的原型，它专为在紧急情况下使用而开发，通过整合检索增强生成（RAG）和累积上下文跟踪，提供情感校准且事实准确的信息。Project Riley 原型通过用户测试进行了评估，参与者与聊天机器人互动并完成了一份结构化问卷，该问卷评估了三个维度：情感适宜性、清晰度与实用性，以及自然度与类人度。结果表明，该系统在结构化场景中表现优异，特别是在情感一致性和沟通清晰度方面。