通过软负采样增强多模态链式思考中的语义
计算与语言
2024-05-17 v1 人工智能
摘要
链式思考 (CoT) 对于需要复杂推理的任务已被证明有用。这些任务常同时涉及文本和多模态信息。给定不同模态的输入，模型生成推理过程后再据此回答问题。由于幻觉问题，生成的软负推理虽然文本质量高但语义不符，未必能提升答案准确率。本研究提出一种使用软负采样 (SNSE-CoT) 的推理生成方法，以缓解多模态 CoT 中的幻觉问题。我们应用了五种方法生成软负样本，这些样本在文本高度相似但语义不同于原始样本。引入双向边际损失 (BML) 以融入传统对比学习框架，该框架仅涉及正负样本。在 ScienceQA 数据集上进行大量实验表明，所提方法有效。代码和数据已发布于 https://github.com/zgMin/SNSE-CoT。
引用
@article{arxiv.2405.09848,
title = {Enhancing Semantics in Multimodal Chain of Thought via Soft Negative Sampling},
author = {Guangmin Zheng and Jin Wang and Xiaobing Zhou and Xuejie Zhang},
journal= {arXiv preprint arXiv:2405.09848},
year = {2024}
}
备注
Accepted by LREC-COLING 2024