Hermes 多语言者：增强多模态 interlingual 字幕表达性的统一框架

Interlingual 字幕将视觉媒体的字幕翻译成目标语言，是娱乐本地化的必不可少的环节，但迄今为止尚未在机器翻译中得到探索。尽管大型语言模型(LLMs)显著推进了机器翻译的通用能力，但字幕文本的独特特征仍在 interlingual 字幕中造成持久的挑战，尤其是关于语义连贯性、代词和术语翻译以及翻译表达性。为解决这些问题，我们提出 Hermes，一个基于 LLM 的自动字幕框架。Hermes 集成了三个模块：说话人分割、术语识别和表达性增强，有效解决上述挑战。实验表明，Hermes 实现了最先进的分割性能，生成具有表达性和语境连贯性的翻译，从而推动了 interlingual 字幕研究的发展。