面向跨主观fNIRS情感识别的在线多层对比表示蒸馏
人机交互
2024-09-25 v1 人工智能
摘要
利用功能近红外光谱(fNIRS)信号进行情感识别是理解人类情感的重要进展。然而，由于该领域缺乏人工智能数据和算法，当前研究面临以下挑战：1) 便携式可穿戴设备对轻量级模型要求更高；2) 不同主观者的生理和心理差异加剧了情感识别难度。为此，我们提出了一种新颖的跨主观fNIRS情感识别方法，称为在线多层对比表示蒸馏框架(OMCRD)。具体而言，OMCRD是为多个轻量级学生网络之间的相互学习设计的框架。它利用每个子网络的多层fNIRS特征提取器，并通过生理信号进行多视图情感矗积。所提出的主观间交互对比表示(IS-ICR)促进了学生模型之间交互的知识传递，提高了跨主观情感识别性能。可选定的最佳学生网络可部署在可穿戴设备上。一些实验结果表明，OMCRD在情感感知和情感想象任务中实现了最新的成果。
引用
@article{arxiv.2409.16081,
title = {Online Multi-level Contrastive Representation Distillation for Cross-Subject fNIRS Emotion Recognition},
author = {Zhili Lai and Chunmei Qing and Junpeng Tan and Wanxiang Luo and Xiangmin Xu},
journal= {arXiv preprint arXiv:2409.16081},
year = {2024}
}
备注
Accepted in ACMMM-2024 Workshop BCI. Codes are available at https://github.com/Lzhili/fNIRS-OMCRD