NeuGPT：统一的多模态神经 GPT
计算与语言
2024-10-29 v1
摘要
本文介绍了 NeuGPT，这是一种开创性的多模态语言生成模型，旨在调和神经记录研究中碎片化的现状。传统上，该领域的研究按信号类型被划分开来，EEG、MEG、ECoG、SEEG、fMRI 和 fNIRS 数据均在孤立状态下进行分析。认识到跨领域借鉴的未开发潜力以及神经信号在不同实验条件下的适应性，我们着手开发一个能够与多种模态交互的统一模型。受 NLP、计算机视觉和语音处理中预训练大模型成功的启发，NeuGPT 的架构被设计为能够处理多种神经记录并与语音和文本数据进行交互。我们的模型主要聚焦于脑到文本解码，将 BLEU-1 上的 SOTA 从 6.94 提升至 12.92，将 ROUGE-1F 从 6.93 提升至 13.06。它还可以模拟脑信号，从而作为一种新型神经接口。代码可在 \href{https://github.com/NeuSpeech/NeuGPT}{NeuSpeech/NeuGPT (https://github.com/NeuSpeech/NeuGPT) .} 获取。
引用
@article{arxiv.2410.20916,
title = {NeuGPT: Unified multi-modal Neural GPT},
author = {Yiqian Yang and Yiqun Duan and Hyejeong Jo and Qiang Zhang and Renjing Xu and Oiwi Parker Jones and Xuming Hu and Chin-teng Lin and Hui Xiong},
journal= {arXiv preprint arXiv:2410.20916},
year = {2024}
}