回溯您的记忆：基于EEG引导的情感上下文记忆重构
人工智能
2025-08-14 v2 人机交互
声音
音频与语音处理
摘要
本文介绍了一种新颖的任务——RevisitAffectiveMemory，通过从脑电图（EEG）信号中提取情感信息，引导音视频生成来重构自传性记忆。为支撑这一开创性任务，我们构建了EEG-AffectiveMemory数据集，包含来自九位参与者记忆回忆期间收集的文本描述、视觉内容、音乐及EEG记录。进而，我们提出了RYM（Revisit Your Memory）框架，包含三个阶段，用于生成保持动态个人记忆情感轨迹的同步音视频内容。实验结果表明，该方法在记忆回忆期间成功解码个体情感动态轨迹（F1=0.9），并在定性和定量分析方面忠实重构了情感上下文相关的音视频记忆，九位参与者均报告称，生成内容与其回忆记忆之间的情感高度一致。尤其值得注意的是，基于主观报告的情感动态生成的内容，其与参与者报告情感动态轨迹之间的相关性（r=0.265, p<.05）更高，用户偏好程度（偏好率=56%）也更佳。本研究推动了情感解码研究及其在基于神经情感理解方面的个性化媒体创建应用。代码与数据集已公开于 https://github.com/ioahKwon/Revisiting-Your-Memory。
引用
@article{arxiv.2412.05296,
title = {Revisiting Your Memory: Reconstruction of Affect-Contextualized Memory via EEG-guided Audiovisual Generation},
author = {Joonwoo Kwon and Heehwan Wang and Jinwoo Lee and Sooyoung Kim and Shinjae Yoo and Yuewei Lin and Jiook Cha},
journal= {arXiv preprint arXiv:2412.05296},
year = {2025}
}
备注
Accepted at the ACM MM 2025 - The 1st CogMAEC Workshop (Oral)