无文本NLP——低算力下的零资源挑战
计算与语言
2024-10-01 v1 人工智能
机器学习
声音
音频与语音处理
摘要
这项工作解决了即使为无文本NLP训练轻量级编码器-声码器模型，仍存在训练时间长和GPU资源需求大的持续挑战。我们通过以下方式显著减少了训练步数并提升了性能：a）利用学习率调度器实现高效且更快的收敛；b）优化跳跃长度；c）调整插值尺度因子以获得更好的音频质量。此外，我们探索了泰米尔语和孟加拉语等印度语言的潜在空间表示，用于声学单元发现和语音转换任务。我们的方法利用了量化编码器架构，结合一个声码器，该声码器采用了所提出的优化跳跃长度、调整后的插值尺度因子和循环学习率调度器的组合。我们在英语、泰米尔语和孟加拉语数据集上获得了一致的良好结果。所提出的方法在捕捉复杂语言模式方面表现出色，从而在语音转换过程中产生了清晰的重建音频，同时显著减少了训练时间。
引用
@article{arxiv.2409.19015,
title = {Textless NLP -- Zero Resource Challenge with Low Resource Compute},
author = {Krithiga Ramadass and Abrit Pal Singh and Srihari J and Sheetal Kalyani},
journal= {arXiv preprint arXiv:2409.19015},
year = {2024}
}