认知思维链：关于社交情境的结构化多模态推理

思维链提示帮助模型逐步思考。但是，朴素的 CoT 在视觉基础的社交任务中会失效，在这些任务中，模型必须同时进行感知、理解和判断；将感知与基于规范的推理桥接起来。最近的工作引入了用于多轮智能体规划和视觉问答的结构化推理，将任务分解为顺序子目标。为了将其扩展到单次多模态社交推理，我们引入了认知思维链，这是一个通过三个受认知启发的阶段来构建视觉语言模型（VLM）推理的推理框架：感知（提取基础事实）、情境（推断情境）和规范（应用社交规范）。在多个不同任务（如多模态意图消歧、多模态心智理论、社交常识推理和安全指令遵循）上的评估显示了一致的改进（平均 5.9% 到 4.6%）。我们进一步探索了 CoCoT 在通过训练改进模型推理方面的效用，并表明在 CoCoT 结构化轨迹上进行监督微调可在推理时无需显式 CoCoT 提示的情况下产生 5-6% 的改进，这表明模型内化了结构化推理模式，而不仅仅是遵循指令。我们表明，通过认知基础的阶段构建模型推理增强了可解释性和社交对齐，为更可靠的多模态系统奠定了基础。所有代码和数据将公开发布。