通过微手势理解实现无身份识别的人工情感智能

在这项工作中，我们关注一组特殊的人体肢体语言——微手势(MG)，它与普通说明性手势的不同之处在于，它们不是为向他人传达信息而做出的有意行为，而是由内在感受驱动的无意行为。这一特性引入了两个关于微手势的新挑战，值得重新思考。第一个是：为其他动作识别设计的策略是否完全适用于微手势。第二个是：微手势作为补充数据，能否为情感理解提供额外的见解。在识别微手势时，我们探索了各种增强策略，这些策略考虑了微手势的细微空间和短暂时间特征（通常伴有重复性），以确定更合适的增强方法。考虑到时间域信息对微手势的重要性，我们引入了一种简单高效的即插即用时空平衡融合方法。我们不仅在所考虑的微手势数据集上研究了我们的方法，还在主流动作数据集上进行了实验。结果表明，我们的方法在微手势识别以及其他数据集上表现良好，与以往的微手势识别方法相比达到了最先进的性能。对于基于微手势的情感理解，我们构建了复杂的情感推理场景。我们使用大语言模型进行的评估表明，微手势在增强综合情感理解方面发挥着显著且积极的作用。我们开发的场景可以扩展到其他基于微手势的任务，如欺骗检测和面试。我们确认，我们的新见解有助于推进微手势和情感人工智能的研究。