离散声学单元分词化的优势探索
分布式、并行与集群计算
2024-06-11 v1 人工智能
摘要
分词算法将基本词汇的单元合并为更大、可变速率的单元已成为自然语言处理任务中的标准做法。然而，这一思想在词素或离散声学单元（DAU）构成的词汇中被严重忽视后者因离散语言建模技术的成功日益增重要。本文我们展示了对语音单元和DAU进行分词化处理在三个预测任务中的优势：音素到字母、音素到DAU以及基于DAU语言模型的无监督语音生成。我们证明，分词化在所有三个任务中在性能、训练速度和推理速度方面均显著提升。我们还提供理论性见解，以解释所观察到的卓越性能。
引用
@article{arxiv.2406.05546,
title = {Training Through Failure: Effects of Data Consistency in Parallel Machine Learning Training},
author = {Ray Cao and Sherry Luo and Steve Gan and Sujeeth Jinesh},
journal= {arXiv preprint arXiv:2406.05546},
year = {2024}
}