Cross2StrA：基于跨语言跨模态结构枢轴对齐的非配对跨语言图像描述
计算机视觉与模式识别
2023-05-26 v2 计算与语言
摘要
非配对跨语言图像描述长期受限于迁移过程中语义场景与句法属性不一致所导致的无关性与不流畅问题。在本工作中，我们提出通过引入场景图（SG）结构与句法成分（SC）树来解决上述问题。我们的描述生成器包含语义结构引导的图到枢轴语言描述生成，以及句法结构引导的枢轴到目标语言翻译，二者通过枢轴语言连接。随后我们以 SG 和 SC 结构作为枢轴，执行跨模态语义结构对齐与跨语言句法结构对齐学习。我们进一步引入跨语言&跨模态回译训练，以充分对齐描述生成与翻译阶段。在英语-中文迁移上的实验表明，我们的模型在提升描述相关性与流畅性方面表现出显著优势。
引用
@article{arxiv.2305.12260,
title = {Cross2StrA: Unpaired Cross-lingual Image Captioning with Cross-lingual Cross-modal Structure-pivoted Alignment},
author = {Shengqiong Wu and Hao Fei and Wei Ji and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2305.12260},
year = {2023}
}