GPT 作为心理学家？GPT-4V 在视觉情感计算上的初步评估
计算机视觉与模式识别
2024-04-11 v2 人工智能
摘要
多模态大语言模型 (MLLMs) 旨在处理和整合来自多种来源的信息，如文本、语音、图像和视频。尽管其在语言理解方面取得了成功，但评估下游任务的性能对于更好的人本应用至关重要。本文评估了 MLLMs 在情感计算中的 5 项关键能力，涵盖从视觉情感任务到推理任务。结果表明，\gpt 在面部动作单元识别和微表情检测方面具有高准确性，而其一般面部表情识别性能并不准确。我们还强调了实现细粒度微表情识别的挑战以及进一步研究的潜力，并展示了 \gpt 通过与任务相关代理集成以处理更复杂任务（如通过信号处理进行心率估计）在情绪识别及相关领域的高级任务处理中的多功能性和潜力。总之，本文为 MLLMs 在人本计算中的潜在应用和挑战提供了有价值的见解。我们有趣的示例位于 https://github.com/EnVision-Research/GPT4Affectivity。
引用
@article{arxiv.2403.05916,
title = {GPT as Psychologist? Preliminary Evaluations for GPT-4V on Visual Affective Computing},
author = {Hao Lu and Xuesong Niu and Jiyao Wang and Yin Wang and Qingyong Hu and Jiaqi Tang and Yuting Zhang and Kaishen Yuan and Bin Huang and Zitong Yu and Dengbo He and Shuiguang Deng and Hao Chen and Yingcong Chen and Shiguang Shan},
journal= {arXiv preprint arXiv:2403.05916},
year = {2024}
}