利用脑电图推进语音合成
音频与语音处理
2020-05-05 v2 机器学习
声音
摘要
在本文中，我们引入注意力-回归模型，以展示从与口语句子并行记录的脑电图（EEG）特征中预测声学特征。首先，我们展示使用我们的注意力模型直接从EEG特征预测声学特征，然后我们展示使用两步法从EEG特征预测声学特征：第一步使用我们的注意力模型从EEG特征预测发音特征，第二步训练另一个注意力-回归模型将预测的发音特征转换为声学特征。在测试时，使用文献[1]中作者的数据集对大多数受试者进行测试，我们提出的注意力-回归模型相比文献[1]作者引入的回归模型表现出更优的性能。本文呈现的结果进一步推进了文献[1]中作者描述的工作。
引用
@article{arxiv.2004.04731,
title = {Advancing Speech Synthesis using EEG},
author = {Gautam Krishna and Co Tran and Mason Carnahan and Ahmed Tewfik},
journal= {arXiv preprint arXiv:2004.04731},
year = {2020}
}
备注
Under review