ERNIE-UniX2：一种用于理解与生成的统一跨语言跨模态框架
计算机视觉与模式识别
2022-11-10 v1
摘要
近期的跨语言跨模态工作试图将视觉-语言预训练（VLP）模型扩展到非英语输入，并取得了令人印象深刻的性能。然而，这些模型仅利用仅编码器的架构关注理解任务。在本文中，我们提出 ERNIE-UniX2，一种用于生成与理解任务的统一跨语言跨模态预训练框架。ERNIE-UniX2 基于编码器-解码器架构整合了多种预训练范式（例如对比学习与语言建模），并试图学习跨语言与跨模态的更好联合表示。此外，ERNIE-UniX2 可无缝微调用于多种生成与理解下游任务。在多语言纯文本与图文数据集上预训练后，ERNIE-UniX2 在多种跨语言跨模态生成与理解任务（如多模态机器翻译与多语言视觉问答）上取得了 SOTA 结果。
引用
@article{arxiv.2211.04861,
title = {ERNIE-UniX2: A Unified Cross-lingual Cross-modal Framework for Understanding and Generation},
author = {Bin Shan and Yaqian Han and Weichong Yin and Shuohuan Wang and Yu Sun and Hao Tian and Hua Wu and Haifeng Wang},
journal= {arXiv preprint arXiv:2211.04861},
year = {2022}
}
备注
13 pages, 2 figures