缓解句子级字素到音素转换中的暴露偏差
计算与语言
2023-08-17 v1 声音
音频与语音处理
摘要
Text-to-Text Transfer Transformer（T5）近期被考虑用于字素到音素（G2P）转换。作为后续工作，基于T5的免分词器字节级模型ByT5近期通过用对应UTF-8编码表示每个输入字符，在词级G2P转换上给出了有前景的结果。尽管通常认为句子级或段落级G2P因更适用于处理同形异音词与词间连读而能提升实际应用的可用性，我们发现将这些场景用于ByT5并非易事。由于ByT5在字符级操作，其需要更长的解码步数，因自回归生成模型中常见的暴露偏差而劣化性能。本文表明，句子级与段落级G2P的性能可通过我们使用基于损失的采样方法缓解此类暴露偏差而得以提升。
引用
@article{arxiv.2308.08442,
title = {Mitigating the Exposure Bias in Sentence-Level Grapheme-to-Phoneme (G2P) Transduction},
author = {Eunseop Yoon and Hee Suk Yoon and Dhananjaya Gowda and SooHwan Eom and Daehyeok Kim and John Harvill and Heting Gao and Mark Hasegawa-Johnson and Chanwoo Kim and Chang D. Yoo},
journal= {arXiv preprint arXiv:2308.08442},
year = {2023}
}
备注
INTERSPEECH 2023