基于选择性强增强骨架序列的步态情感表征自监督学习
计算机视觉与模式识别
2024-05-09 v1
摘要
情感识别是情感计算的重要组成部分。从人类步态中提取情感线索具有自然交互、非侵入性和远程检测等优势。近年来，自监督学习技术的引入为解决步态情感识别领域中标注数据稀缺所引发的问题提供了实用方案。然而，由于步态的多样性有限且骨架的特征表征不完整，现有的对比学习方法在获取步态情感时通常效率低下。在本文中，我们提出了一种利用选择性强增强（SSA）的对比学习框架，用于自监督的步态情感表征，旨在从有限的标注步态数据中导出有效的表征。首先，我们提出了一种用于步态情感识别任务的 SSA 方法，包括上半身抖动和随机时空掩码。SSA 的目标是生成更多样化且更具针对性的正样本，并促使模型学习更具区分度和鲁棒性的特征表征。然后，我们设计了一个互补特征融合网络（CFFN），促进跨域信息的整合，以获取拓扑结构特征和全局自适应特征。最后，我们实现了分布散度最小化损失，以监督一般增强和强增强查询的表征学习。我们的方法在 Emotion-Gait (E-Gait) 和 Emilya 数据集上得到了验证，并在不同评估协议下优于现有方法。
引用
@article{arxiv.2405.04900,
title = {Self-supervised Gait-based Emotion Representation Learning from Selective Strongly Augmented Skeleton Sequences},
author = {Cheng Song and Lu Lu and Zhen Ke and Long Gao and Shuai Ding},
journal= {arXiv preprint arXiv:2405.04900},
year = {2024}
}