触摸与告知：面向机器人的多模态人类情绪与社交手势解码
机器人学
2025-08-13 v2 机器学习
摘要
人类情绪是复杂的，可以通过细微的触摸手势来传达。先前的研究主要关注人类如何通过触摸识别情绪，或为机器人识别情绪表达的关键特征。然而，关于通过触摸将这些情绪和手势可靠地传达给机器人，并使用数据驱动方法进行解释的可靠性，目前尚存在研究空白。本研究通过触摸和声音，探究了情绪和手势表达的一致性与可区分性。为此，我们在一个社交机器人上集成了定制的压阻式压力传感器和麦克风。28名参与者首先使用自发的触摸手势向机器人传达十种不同的情绪，然后执行了六种预定义的社交触摸手势。我们的研究结果显示，参与者在情绪和手势表达上均具有统计学上显著的一致性。然而，某些情绪表现出较低的组内相关系数值，并且某些具有相似唤醒度或效价的情绪在传达上没有显示出显著差异。为了探究情感人机触觉交互中的情绪和社交手势解码，我们开发了单模态模型以及融合触觉和听觉特征的多模态模型。一个基于多模态特征训练的支持向量机（SVM）模型在十种情绪分类中达到了最高准确率40%。在手势分类方面，一个卷积神经网络-长短期记忆网络（CNN-LSTM）达到了90.74%的准确率。我们的结果表明，尽管单模态模型具有解码情绪和触摸手势的潜力，但触觉和听觉的多模态融合显著优于单模态方法，增强了对情绪和手势的解码能力。
引用
@article{arxiv.2412.03300,
title = {Touch and Tell: Multimodal Decoding of Human Emotions and Social Gestures for Robots},
author = {Qiaoqiao Ren and Remko Proesmans and Yuanbo Hou and Francis wyffels and Tony Belpaeme},
journal= {arXiv preprint arXiv:2412.03300},
year = {2025}
}