基于二值神经网络的非语义语音嵌入蒸馏用于低资源设备
声音
2023-12-05 v4 机器学习
音频与语音处理
摘要
本文提出 BRILLsson，一种基于二值神经网络（binary neural network）的新型表示学习模型，适用于广泛的非语义语音任务。我们通过从大型实值 TRILLsson 模型进行知识蒸馏来训练该模型，且仅使用了训练 TRILLsson 所用数据集的一小部分。得到的 BRILLsson 模型大小仅为 2MB，延迟低于 8ms，使其适合部署于可穿戴设备等低资源设备中。我们在八项基准任务（包括但不限于口语语言识别、情感识别、健康状况诊断和关键词 spotting）上评估 BRILLsson，并证明我们提出的超低功耗、低延迟模型性能与大规模模型相当。
引用
@article{arxiv.2207.05784,
title = {Distilled Non-Semantic Speech Embeddings with Binary Neural Networks for Low-Resource Devices},
author = {Harlin Lee and Aaqib Saeed},
journal= {arXiv preprint arXiv:2207.05784},
year = {2023}
}