MultiInstruct：通过指令微调改进多模态零样本学习
计算与语言
2023-06-13 v3
摘要
指令微调是一种新的学习范式，它在通过指令指定的任务上微调预训练语言模型，已在多种自然语言处理任务上展现出有前景的零样本性能。然而，其在视觉和多模态任务中尚未得到探索。在本工作中，我们引入了 MULTIINSTRUCT，这是首个多模态指令微调基准数据集，包含以统一序列到序列格式组织的 62 项多样化多模态任务，涵盖 10 个大类。这些任务源自 21 个现有开源数据集，每项任务配有 5 条专家撰写的指令。我们采用 OFA 作为多模态指令微调的基础预训练模型，并为了进一步提升其零样本性能，探索了多种迁移学习策略以利用大规模的 NATURAL INSTRUCTIONS 数据集。实验结果表明，在多种未见多模态任务上具有强大的零样本性能，以及从纯文本指令数据集进行迁移学习的益处。我们还设计了一种新的评估指标——Sensitivity（敏感度），用于评估模型对指令多样性的敏感程度。我们的结果表明，在多样化任务和指令集合上微调模型可降低其对每项任务中指令变化的敏感度。
引用
@article{arxiv.2212.10773,
title = {MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning},
author = {Zhiyang Xu and Ying Shen and Lifu Huang},
journal= {arXiv preprint arXiv:2212.10773},
year = {2023}
}
备注
ACL 2023, dataset url: https://github.com/VT-NLP/MultiInstruct