MSCTD:一种多模态情感聊天翻译数据集
计算与语言
2022-03-01 v1
摘要
多模态机器翻译与文本聊天翻译近年来受到相当关注。尽管自然形式的对话通常是多模态的,但关于对话中多模态机器翻译的工作仍然匮乏。本文引入一项新任务,称为多模态聊天翻译(MCT),旨在借助相关的对话历史与视觉上下文生成更准确的翻译。为此,我们首先构建了多模态情感聊天翻译数据集(MSCTD),包含 14,762 个双语对话中的 142,871 个英中句对,以及 3,079 个双语对话中的 30,370 个英德句对。每个句对对应反映当前对话场景的视觉上下文,并标注了情感标签。随后,我们通过建立多个融合多模态与情感特征用于 MCT 的基线系统对该任务进行基准测试。在四个语言方向(英中及英德)上的初步实验验证了上下文与多模态信息融合的潜力,以及情感对 MCT 任务的积极影响。此外,作为 MSCTD 的副产品,它还提供了多模态对话情感分析的两个新基准。我们的工作可促进多模态聊天翻译与多模态对话情感分析的研究。
引用
@article{arxiv.2202.13645,
title = {MSCTD: A Multimodal Sentiment Chat Translation Dataset},
author = {Yunlong Liang and Fandong Meng and Jinan Xu and Yufeng Chen and Jie Zhou},
journal= {arXiv preprint arXiv:2202.13645},
year = {2022}
}
备注
Accepted at ACL 2022 as a long paper of main conference. Code and data: https://github.com/XL2248/MSCTD