SUMART：从冗长表达到简洁表达的翻译总结方法

我们提出了SUMART（SUMmARizing Translation from Wordy to Concise Expression），一种用于总结和压缩冗长字幕翻译体量的方法。SUMART旨于理解翻译后的字幕（例如通过字幕翻译进行的跨语言对话，或在外语音频和翻译字幕的情况下观看电影）。SUMART面向需要快速获取对话、音频、视频内容和外语 speech 全貌的用户。在训练数据收集过程中，当说话者发表冗长陈述时，SUMART会在现场使用大语言模型对字幕进行压缩。该压缩数据随后存储在数据库中用于微调。随后，SUMART使用来自非压缩 ASR 结果和压缩后翻译结果的数据对进行微调，以训练模型生成更简洁的翻译，以供实际使用。在实际应用中，SUMART利用该训练好的模型生成简洁的翻译结果。此外，作为实际应用，我们开发了一个允许通过字幕翻译进行对话的增强现实空间中的应用。作为一个示范研究，我们使用SUMART原型和关于SUMART总结模型的调查进行了定性调查。我们设想该系统最有效的用例是用户需要快速消费大量信息的情况（例如：speech、讲座、播客、会议 Q&A）。