Mind-to-Face：基于 EEG 解码的神经驱动高保真头像合成
计算机视觉与模式识别
2025-12-05 v1
摘要
当前的表达性头像系统高度依赖视觉线索，在面部遮挡或情绪内在化时常常失效。我们提出 Mind-to-Face，首个能够直接将非侵入性脑电图（EEG）信号解码为高保真面部表情的框架。我们构建双模态录制 setup，以获取在激发情绪刺激时同步的 EEG 与多视角面部视频，为神经到视觉的学习提供精确的监督。我们的模型使用 CNN-Transformer 编码器将 EEG 信号映射为稠密 3D 位图，能够对超过 6.5 万个顶点进行采样，捕捉细粒度几何结构和细微情绪动态，通过修改后的 3D 高斯溅写管道进行渲染，实现高保真、视角一致的结果。通过广泛的评估，我们展示 EEG alone 能够可靠地预测动态、subject-specific 的面部表情，包括细微的情绪反应，表明神经信号比此前假设的更丰富地包含情感和几何信息。Mind-to-Face 建立了神经驱动头像的新范式，使沉浸式环境中的个性化、情感感知的 telepresence 和认知交互成为可能。
引用
@article{arxiv.2512.04313,
title = {Mind-to-Face: Neural-Driven Photorealistic Avatar Synthesis via EEG Decoding},
author = {Haolin Xiong and Tianwen Fu and Pratusha Bhuvana Prasad and Yunxuan Cai and Haiwei Chen and Wenbin Teng and Hanyuan Xiao and Yajie Zhao},
journal= {arXiv preprint arXiv:2512.04313},
year = {2025}
}
备注
16 pages, 11 figures