“不”很重要：多模态长对话中的分布外检测

多模态上下文中的分布外（OOD）检测对于识别来自不同模态的组合输入中的偏差至关重要，尤其是在开放域对话系统或现实生活对话交互等应用中。本文旨在通过高效检测OOD对话和图像，改善涉及多轮长对话的用户体验。我们引入了一个名为对话图像对齐与增强框架（DIAEF）的新型评分框架，该框架将视觉语言模型与新提出的评分相结合，用于检测两种关键场景下的OOD：（1）对话与图像输入对之间的不匹配，以及（2）带有先前未见标签的输入对。从各种基准测试中得出的实验结果表明，与独立使用任一模态相比，整合图像和多轮对话OOD检测在应对先前未见标签时更为有效。在存在不匹配对的情况下，我们提出的评分能有效识别这些不匹配，并在长对话中表现出强大的鲁棒性。这种方法增强了领域感知的自适应对话代理，并为未来研究建立了基线。