ArtCognition：一种用于从视觉和运动学绘画线索中感知情绪状态的多模态AI框架

对人类情绪和心理状态的客观评估是一个具有挑战性的问题，尤其是在非语言渠道上。本文引入数字绘画作为一种鲜有探索的情绪感知模态。我们提出了一种新型多模态框架，名为ArtCognition，用于自动化分析常用的心理仪器——房屋-树-人（HTP）测试。ArtCognition独特地融合了两种不同的数据流：从最终艺术品中捕获的静态视觉特征（由计算机视觉模型提取），以及从绘画过程本身派生的动态行为运动学线索，如笔画速度、暂停和平滑度。为弥合低层特征与高层心理解释之间的差距，我们采用检索增强生成（RAG）架构。该框架将分析锚定在既定心理学知识之上，增强可解释性并降低模型幻觉的潜在风险。我们的结果表明，视觉特征与行为运动学线索的融合比单一模态提供更细致的评估。我们显示，提取的多模态特征与标准化心理指标之间存在显著相关性，验证了该框架作为支持临床工作的可扩展工具的潜力。本工作贡献了一种用于非侵入性情绪状态评估的新方法，并为技术辅助的心理健康领域开辟了新的研究方向。