WaveNet 是否梦见了声波？
声音
2018-02-26 v1 神经与进化计算
摘要
多方报道称 WaveNet 深度学习架构能够生成高质量语音，但据我们所知，尚未有关于训练后 WaveNet 解释或可视化的研究。本研究探讨 WaveNet 是否通过无监督学习其感受野中语音信号的声学有意义潜表示来理解语音；我们也试图解释执行特征提取的机制。由对激活值与已知声学特征（如 F0）的奇异值分解与线性回归分析所提示，关键发现为：（1）较高层中的激活值与频谱特征高度相关；（2）尽管 WaveNet 被训练为直接预测下一音频采样点，它显式地执行了基频提取；（3）为使所述特征分析得以进行，潜信号表示在基带与宽带分量之间被来回转换。
引用
@article{arxiv.1802.08370,
title = {Do WaveNets Dream of Acoustic Waves?},
author = {Kanru Hua},
journal= {arXiv preprint arXiv:1802.08370},
year = {2018}
}
备注
5 pages with 7 figures; submitted to Interspeech 2018