双曲安全感知视觉语言模型

从视觉语言模型（如 CLIP）中检索不安全内容，是实现真实世界集成的重要一步。当前工作主要依赖试图擦除模型对不安全概念知识的机器遗忘技术。虽然在减少不需要的输出方面有效，但机器遗忘限制了模型区分安全与不安全内容的能力。在本工作中，我们提出了一种从机器遗忘转向感知范式的新方法，利用双曲空间的固有层次特性。我们提出将安全和不安全内容编码为蕴含层次，两者被放置在双曲空间的不同区域。我们的 HySAC（双曲安全感知 CLIP）采用蕴含损失函数来建模安全与不安全图像-文本对之间的层次性和非对称关系。这种建模在依赖欧几里得嵌入的标准视觉语言模型中无效，赋予模型对不安全内容的感知能力，使其能够同时充当多模态不安全分类器和灵活的内容检索器，并可选择动态地将不安全查询重定向到更安全的替代方案或保留原始输出。广泛的实验表明，我们的方法不仅增强了安全识别，还为视觉语言模型中的内容审核建立了更具适应性和可解释性的框架。我们的源代码可在 https://github.com/aimagelab/HySAC 获取。