一致性与不确定性：识别黑盒视觉语言模型的不可靠响应以实现选择性视觉问答

选择性预测的目标是让模型在可能无法提供可靠预测时选择弃权，这在安全攸关的场景中至关重要。现有的选择性预测方法通常需要访问模型内部结构、重新训练模型或仅研究单模态模型。然而，最强大的模型（如 GPT-4）通常仅以黑盒形式提供，其内部结构不可访问，最终用户无法重新训练，并且经常用于多模态任务。我们研究了在现实的黑盒环境下，为视觉语言模型实现选择性预测的可能性。我们提出利用“邻域一致性”原则来识别黑盒视觉语言模型在问答任务中的不可靠响应。我们假设，仅给定一个视觉问题和模型响应，模型在视觉问题邻域上响应的一致性将指示其可靠性。在黑盒环境中，无法直接在特征空间中采样邻域。相反，我们展示了可以使用一个较小的代理模型来近似地从邻域中采样。我们发现，邻域一致性可用于识别模型对视觉问题可能不可靠的响应，即使在对抗性环境或对代理模型而言是分布外的情况下也是如此。