降低低资源 S2TT 系统中结构噪声：优化化 cascaded 尼泊尔-英语管线与标点恢复
摘要
低资源语言的级联式语音到文本翻译 (S2TT) 系统可能因自动语音识别 (ASR) 阶段标点丢失而受结构噪声影响。本研究考察了此类噪声对尼泊尔语到英语翻译的影响，并提出一种优化管线以缓解质量下降。我们首先构建高度专业的 ASR 与机器翻译组件：Wav2Vec2-XLS-R-300m 模型在 OpenSLR-54 数据集上实现最先进的 2.72% 错误字符率 (CER)，多阶段微调的 MarianMT 模型在 FLORES-200 基准上达到 28.32 BLEU 分数。我们经验性地探讨了标点丢失的影响，证明未标点的 ASR 输出会显著降低翻译质量，在 FLORES 基准上导致 BLEU 分数下降约 20.7%。为克服此问题，我们提出并评估了中间标点恢复模块 (PRM)。最终的 S2TT 管线在自定义数据集上进行了三种配置的测试。最优配置直接将 PRM 应用于 ASR 输出，相较于直接 ASR 到 NMT 的基线（BLEU 为 31.48 vs. 36.38），实现了 4.90 的 BLEU 点提升。该提升通过人类评估得到验证，优化管线在充分性 (Adequacy: 3.673) 和流畅性 (Fluency: 3.804) 方面均表现优越，采用者氏间可靠性 (Krippendorff's 0.723)。本工作验证了针对性标点恢复是缓解尼泊尔 S2TT 管线结构噪声的最有效干预措施，构建了优化基线，并为类似低资源语言的级联式语音翻译系统开发提供了关键的架构见解。
引用
@article{arxiv.2602.21647,
title = {Mitigating Structural Noise in Low-Resource S2TT: An Optimized Cascaded Nepali-English Pipeline with Punctuation Restoration},
author = {Tangsang Chongbang and Pranesh Pyara Shrestha and Amrit Sarki and Anku Jaiswal},
journal= {arXiv preprint arXiv:2602.21647},
year = {2026}
}
备注
16 pages, 4 figures, 12 tables, Transactions on Asian and Low-Resource Language Information Processing (Under Review)