用于多模态表示学习的 Graph-of-Thought 软提示

思维链技术在多模态任务中受到了广泛认可。它是一种逐步的线性推理过程，通过调整链的长度来提升生成提示的性能。然而，人类的思维过程主要呈非线性，因为它们同时涵盖多个方面，并采用动态调整与更新机制。因此，我们提出了一种新颖的聚合思维图机制，用于多模态表示学习中的软提示微调。所提出的 AGoT 不仅将人类思维过程建模为一条链，还将每一步建模为一个推理聚合图，以应对单步推理中被忽视的多个思维方面。这将整个推理过程转化为提示聚合与提示流操作。实验表明，我们通过 AGoT 软提示增强的多模态模型在文本-图像检索、视觉问答和图像识别等多个任务中取得了良好效果。此外，我们证明，由于具备更好的推理能力，该模型具有良好的领域泛化性能。