提示真的有效吗？探索 Whisper 的提示理解能力

本研究探讨了提示信息如何与高性能语音识别模型 Whisper 交互。我们比较了其在包含正确信息的提示和包含错误信息的提示下的表现。我们的结果出人意料地表明，Whisper 可能不会以人类预期的方式理解文本提示。此外，我们发现即使更严格地遵循文本提示中的主题信息，性能提升也无法保证。还注意到，在两种语言的数据集上，英文提示通常优于中文提示，这可能是由于这些语言训练数据分布的差异，尽管与预训练场景不匹配。相反，我们发现 Whisper 通过忽略不正确的语言标记并关注正确的语言标记，表现出对语言标记中误导信息的感知。总之，我们提出了关于 Whisper 提示理解的深刻问题，并揭示了其反直觉的行为。我们鼓励进一步的研究。