PersonaX：基于 LLM 推断行为特征的多模态数据集
机器学习
2026-02-11 v2 计算机视觉与模式识别
摘要
理解人类行为特征是人机交互、计算社会科学和个性化 AI 系统应用的核心。这种理解通常需要整合多种模态以捕捉细微的模式和关系。然而，现有资源很少提供将行为描述与面部属性和生物信息等补充模态结合的数据集。为此，我们提出PersonaX，一套为综合分析公共特征而设计的多模态数据集。PersonaX 包括（1）CelebPersona，涵盖来自不同职业的 9444 位公众人物；（2）AthlePersona，覆盖 4181 名来自 7 大主要体育联盟的职业运动员。每个数据集均包含由三款高性能大语言模型推断的行为特征评估，以及面部图像和结构化生物特征。我们在两个互补层面上分析 PersonaX：首先，从文本描述中抽象出高层次特征分数，并应用五种统计独立性检验来检验其与其他模态的关系；其次，我们引入一种针对多模态和多测量数据的数据的因果表征学习（CRL）框架，提供理论可识别性保证。在合成和真实数据上的实验表明，我们的方法有效。通过统一结构化和非结构化分析，PersonaX 为研究 LLM 推断行为特征与视觉和生物特征的联合分析奠定了基础，推动了多模态特征分析和因果推理。代码已公开于 https://github.com/lokali/PersonaX。
引用
@article{arxiv.2509.11362,
title = {PersonaX: Multimodal Datasets with LLM-Inferred Behavior Traits},
author = {Loka Li and Wong Yu Kang and Minghao Fu and Guangyi Chen and Zhenhao Chen and Gongxu Luo and Yuewen Sun and Salman Khan and Peter Spirtes and Kun Zhang},
journal= {arXiv preprint arXiv:2509.11362},
year = {2026}
}
备注
ICLR 2026