多模态对比式零样本学习
计算与语言
2024-08-26 v1 人工智能
摘要
大型语言模型（LLM）的快速发展凸显了无梯度零样本学习（In-Context Learning, ICL）的重要性。然而，解读其内部工作机制仍具挑战性。本文提出一种新型多模态对比式零样本学习框架，以增强对 LLM 中 ICL 机制的理解。首先，我们提出一种基于对比学习的解释方式，将 ICL 在实际场景中的关键在于将键值表示之间的距离作为区分依据。其次，我们发展一种分析框架，以消除多模态输入格式在真实数据集中的偏差。我们展示，即使在不可见格式下，ICL 示例也能实现良好性能。最后，我们提出一种即时零样本学习方法（以文本锚定的 ICL），在检测仇恨表情包方面表现突出，此任务中传统 ICL 因资源限制而难以胜任。广泛的多模态数据集实验表明，我们的方法在各种场景下显著提升了 ICL 性能，包括具备挑战性的任务和资源受限的环境。更重要的是，这些发现为开发更具可解释性、效率和鲁棒性的多模态 AI 系统提供了宝贵洞见，尤其是在具备挑战性的任务和资源受限的环境中。
引用
@article{arxiv.2408.12959,
title = {Multimodal Contrastive In-Context Learning},
author = {Yosuke Miyanishi and Minh Le Nguyen},
journal= {arXiv preprint arXiv:2408.12959},
year = {2024}
}