T-SciQ：通过混合大语言模型信号进行多模态思维链推理教学以解答科学问答
计算与语言
2023-12-19 v4
摘要
大语言模型（LLM）近期在各种自然语言处理（NLP）任务中展现出卓越性能。它们也表现出执行思维链（CoT）推理以解决复杂问题的能力。近期研究通过用高质量人工标注的 CoT rationale 微调多模态模型，探索了复杂多模态场景（如科学问答任务）中的 CoT 推理。然而，收集高质量 CoT rationale 通常耗时且昂贵。此外，由于遗漏了外部关键信息，标注的 rationale 难以准确。为解决这些问题，我们提出一种称为 T-SciQ 的新方法，旨在利用 LLM 信号教授科学问答。T-SciQ 方法生成高质量 CoT rationale 作为教学信号，并先进地训练小得多的模型在复杂模态中执行 CoT 推理。此外，我们引入一种新颖的数据混合策略，为简单和复杂科学问答问题生成更有效的教学数据样本。大量实验结果表明，我们的 T-SciQ 方法在 ScienceQA 基准上取得了新的最先进性能，准确率为 96.18%。此外，我们的方法比最强大的微调基线高出 4.5%。代码已公开于 https://github.com/T-SciQ/T-SciQ。
引用
@article{arxiv.2305.03453,
title = {T-SciQ: Teaching Multimodal Chain-of-Thought Reasoning via Mixed Large Language Model Signals for Science Question Answering},
author = {Lei Wang and Yi Hu and Jiabang He and Xing Xu and Ning Liu and Hui Liu and Heng Tao Shen},
journal= {arXiv preprint arXiv:2305.03453},
year = {2023}
}
备注
AAAI 2024