Whisper具有内部词对齐器

人们越来越关注从强大的自动语音识别器（特别是Whisper）中获取准确的词级时间戳。现有方法要么需要额外训练，要么根本没有竞争力。先前工作中的评估也相对宽松，通常使用超过200毫秒的容差。在本工作中，我们在Whisper中发现了能够捕获准确词对齐的注意力头，并且它们与不能捕获词对齐的注意力头明显不同。此外，我们发现使用字符比使用词片产生更精细且更准确的对齐。基于这些发现，我们提出了一种无监督的词对齐提取方法，即在用字符对Whisper进行教师强制的同时过滤注意力头。我们的方法不仅不需要训练，而且在20毫秒至100毫秒的更严格容差下，产生了比先前工作更准确的词对齐。