SBAAM！消除自动字幕中的转录依赖

字幕在提升无声内容可访问性方面起着关键作用，涵盖三个主要子任务：翻译语音对话、将翻译分割为简洁文本单元以及估计控制其屏幕上持续时间的时间戳。过去的自动化方法在不同程度上依赖自动转录文本，用于上述三个子任务。针对这种对转录依赖性的已知局限性，近期研究转向无转录的翻译和分段解决方案，留下了直接生成时间戳的空白。为填补这一空白，我们引入了首个能够直接生成自动字幕的模型，完全消除对中间转录的依赖，包括用于时间戳预测。实验结果通过人工评估展示了该解决方案在多个语言对和多样化条件下的新的状态性能。