面向语音表征的可持续自监督学习
计算与语言
2024-06-13 v1
摘要
可持续人工智能关注数据、硬件和算法以使机器学习模型更加环保。特别是，语音表征的机器学习模型计算成本高昂，由于高能耗，引发环境担忧。因此，我们提出了一个可持续自监督模型来学习语音表征，结合神经网络层和训练优化以减少计算成本。该模型在资源效率基准上进行了改进，减少了内存使用和计算成本估计。它使用单个GPU在不到一天的时间内进行预训练。在此基础上，它在下游任务评估中改进了基准的错误率性能。与大型语音表征方法相比，内存使用降低了一个数量级，而计算成本降低几乎达到三个数量级的改进。
引用
@article{arxiv.2406.07696,
title = {Sustainable self-supervised learning for speech representations},
author = {Luis Lugo and Valentin Vielzeuf},
journal= {arXiv preprint arXiv:2406.07696},
year = {2024}
}