Uni-Neur2Img：基于扩散变形器的统一神经信号引导图像生成、编辑与风格化
计算机视觉与模式识别
2025-12-23 v1
摘要
直接从神经信号生成或编辑图像在神经科学、视觉和脑机交互领域具有巨大的潜力。本文提出 Uni-Neur2Img，一个用于神经信号驱动的图像生成和编辑的统一框架。该框架引入一个基于 LoRA 的参数高效神经信号注入模块，独立处理每个条件信号作为可插拔组件，促进多模态条件下的灵活性，而无需更改基础模型参数。此外，我们采用因果注意力机制来满足条件生成任务的长序列建模需求。现有神经驱动生成研究主要聚焦于文本模式作为条件或中间表示，导致对视觉模式作为直接条件信号的探索有限。为弥合这一研究空白，我们引入了 EEG-Style 数据集。我们在公共基准测试和自收集的神经信号数据集上进行全面评估：(1) 基于 EEG 的图像生成使用公共 CVPR40 数据集；(2) 基于神经信号的图像编辑使用公共 Loongx 数据集进行语义感知的局部修改；(3) 基于 EEG 的风格迁移使用我们自收集的 EEG-Style 数据集。广泛的实验结果表明，在保持低计算开销和强大模块性扩展性的同时，显著提高了生成保真度、编辑一致性和风格迁移质量。因此，Uni-Neur2Img 为连接神经信号和视觉内容生成提供了一个统一、高效且可扩展的解决方案。
关键词
引用
@article{arxiv.2512.18635,
title = {Uni-Neur2Img: Unified Neural Signal-Guided Image Generation, Editing, and Stylization via Diffusion Transformers},
author = {Xiyue Bai and Ronghao Yu and Jia Xiu and Pengfei Zhou and Jie Xia and Peng Ji},
journal= {arXiv preprint arXiv:2512.18635},
year = {2025}
}