利用多模态大语言模型进行基于绘图的心理分析
计算机视觉与模式识别
2025-10-23 v1 多媒体
摘要
多模态大语言模型（MLLMs）在 various 客观多模态感知任务中展现了卓越的性能，但其应用于主观且充满情感细腻的领域（如心理分析）仍鲜有探索。本文引入了 PICK，一个针对心理分析的多步骤框架，通过分层分析和知识注入来理解 MLLMs，特别关注临床实践中广泛使用的房屋-树-人（House-Tree-Person, HTP）测试。首先，我们将包含多个实例的绘图分解为语义上有意义的子绘图，构建一种捕捉空间结构和内容的层级表示，涵盖三个层次：单对象层次、多对象层次和整体层次。接着，我们在每个层次上对这些子绘图进行分析，聚焦提取其视觉线索中的心理或情感洞察。我们还引入了 HTP 知识库，设计了一个基于强化学习训练的特征提取模块，用于生成单对象层次的心理轮廓。该轮廓捕捉了整体风格特征和动态对象特定特征（如房屋、树或人的特征），并将其与心理状态相关联。最后，我们将这些多方面的信息整合，以产生与专家水平推理相匹配的评估。我们的做法填补了了 MLLMs 与专业专家领域之间的鸿沟，提供了一个结构化且可解释的框架，通过视觉表达来理解人类心理状态。实验结果表明，所提出的 PICK 显著增强了 MLLMs 在心理分析方面的能力。进一步的验证表明，该方法可扩展至情感理解任务，作为通用框架得到验证。
引用
@article{arxiv.2510.19451,
title = {Reasoning Like Experts: Leveraging Multimodal Large Language Models for Drawing-based Psychoanalysis},
author = {Xueqi Ma and Yanbei Jiang and Sarah Erfani and James Bailey and Weifeng Liu and Krista A. Ehinger and Jey Han Lau},
journal= {arXiv preprint arXiv:2510.19451},
year = {2025}
}
备注
Accepted by ACM Multimedia 2025