基于双解码的字幕与解说词联合生成
计算与语言
2022-05-16 v1
摘要
随着视听内容数量的增长，开发自动解说词与字幕生成方案以满足日益国际化的受众预期，成为提升吞吐量与降低相关后期制作成本的唯一可行途径。自动解说词与字幕生成往往需紧密交织，以实现彼此之间及与视频信号之间适当的连贯性与同步性。本工作中，我们评估了一种双解码方案，以实现这两项任务间的强耦合，并展示了在模型规模与训练复杂度几乎无额外成本的情况下，如何提升恰当性与一致性。
引用
@article{arxiv.2205.06522,
title = {Joint Generation of Captions and Subtitles with Dual Decoding},
author = {Jitao Xu and François Buet and Josep Crego and Elise Bertin-Lemée and François Yvon},
journal= {arXiv preprint arXiv:2205.06522},
year = {2022}
}
备注
Accepted at IWSLT 2022