T-NGA：用于处理尖峰音频传感器事件的时序网络嫁接算法
音频与语音处理
2022-02-08 v1 神经与进化计算
声音
摘要
尖峰硅耳蜗传感器将声音编码为来自不同频率通道的异步尖峰流。尖峰耳蜗缺乏带标签训练数据集，使得难以在这些传感器输出上训练深度神经网络。本工作提出一种称为时序网络嫁接算法（T-NGA）的自监督方法，其将已在谱图特征上预训练的循环网络进行嫁接，使该网络可处理耳蜗事件特征。T-NGA训练仅需时间对齐的音频谱图与事件特征。我们的实验表明，嫁接网络的精度类似于在语音识别任务上利用软件尖峰耳蜗模型事件从头训练的有监督网络。尽管尖峰硅耳蜗存在电路非理想性，嫁接网络在硅耳蜗尖峰记录上的精度仅比使用N-TIDIGITS18数据集的有监督网络低约5%。T-NGA能在缺乏大规模带标签尖峰数据集的情况下训练网络处理尖峰音频传感器事件。
引用
@article{arxiv.2202.03204,
title = {T-NGA: Temporal Network Grafting Algorithm for Learning to Process Spiking Audio Sensor Events},
author = {Shu Wang and Yuhuang Hu and Shih-Chii Liu},
journal= {arXiv preprint arXiv:2202.03204},
year = {2022}
}
备注
5 pages, 4 figures; accepted at IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Singapore, 2022