通过基于提示的 ASR 弱监督训练利用电视字幕精炼转录文本

本研究提出了一种在弱监督（WS）自动语音识别（ASR）框架内使用电视字幕的新方法。尽管电视字幕易于获取，但其与对应音频的对齐不够精确，限制了其作为逐字转录监督目标的适用性。我们的方法并未将字幕作为直接监督信号，而是将其重新定义为富含上下文的提示。这种设计使模型能够处理语音音频与字幕文本之间的差异。相反，生成的伪转录文本成为主要目标，而字幕作为迭代精炼的引导线索。为了进一步增强该过程，我们引入了一种加权注意力机制，在推理期间强调相关的字幕 token。我们的实验表明转录准确率有显著提升，突出了所提出方法在精炼转录文本方面的有效性。这些增强的伪标注数据集为训练鲁棒的 ASR 系统提供了高质量的基础资源。