从动作到肢体语言:通过身体动作提取人类心理状态
计算机视觉与模式识别
2025-10-07 v1
摘要
理解人类与建筑环境之间动态关系是环境心理学等学科的关键挑战。建模这些相互作用的核心障碍是无法以既通用又可保护隐私的方式捕捉人类心理状态。传统方法依赖理论模型或问卷调查，这些方法在范围、静态性和劳动密集性方面受限。我们提出了一种肢体语言识别框架，从3D骨骼关节数据直接推断人类活动的交际功能——即肢体语言。该框架结合了空间-时间图卷积网络(ST-GCN)和卷积神经网络(CNN)，利用迁移学习绕过人类动作与心理类别之间手动定义映射的需求。该方法保留用户匿名性，同时揭示反映认知和情感状态的身体运动中的潜在结构。我们的结果基于Dyadic User Engagement(DUET)数据集表明，该方法实现了行为建模的可扩展性、准确性和以人类为中心的方法，为增强受RL驱动的人类-环境相互作用仿真提供了新途径。
引用
@article{arxiv.2510.04844,
title = {From Actions to Kinesics: Extracting Human Psychological States through Bodily Movements},
author = {Cheyu Lin and Katherine A. Flanigan},
journal= {arXiv preprint arXiv:2510.04844},
year = {2025}
}
备注
The 15th International Workshop on Structural Health Monitoring (IWSHM)