利用场景引导的适配器解决自然语言推理中的词汇歧义
计算与语言
2024-05-22 v1
摘要
自然语言推理 (NLI) 是自然语言处理中的一项关键任务，涉及确定两个句子之间的关系，通常称为前提和假设。然而，传统的 NLI 模型仅依赖于独立句子中固有的语义信息，缺乏相关的情境视觉信息，由于语言的歧义和模糊性，这可能阻碍对句子预期含义的完整理解。为了应对这一挑战，我们提出了一种创新的 ScenaFuse 适配器，该适配器同时整合了大规模预训练语言知识和相关的视觉信息以用于 NLI 任务。具体而言，我们首先设计了一个图像-句子交互模块，将视觉信息纳入预训练模型的注意力机制中，使两种模态能够全面交互。此外，我们引入了一个图像-句子融合模块，可以自适应地整合来自图像的视觉信息和来自句子的语义信息。通过结合相关的视觉信息并利用语言知识，我们的方法弥合了语言与视觉之间的差距，从而提高了 NLI 任务中的理解和推理能力。广泛的基准实验表明，我们提出的 ScenaFuse，一种场景引导的方法，持续提升了 NLI 性能。
引用
@article{arxiv.2405.12434,
title = {Resolving Word Vagueness with Scenario-guided Adapter for Natural Language Inference},
author = {Yonghao Liu and Mengyu Li and Di Liang and Ximing Li and Fausto Giunchiglia and Lan Huang and Xiaoyue Feng and Renchu Guan},
journal= {arXiv preprint arXiv:2405.12434},
year = {2024}
}
备注
IJCAI24