双曲空间 vs 欧几里得空间多模态对比学习中的机器遗忘：适用于 MERU 的对齐校准
计算机视觉与模式识别
2025-04-15 v2 人工智能
计算与语言
机器学习
多媒体
摘要
机器遗忘方法日益重要，用于从大型预训练模型中选择性地删除概念。虽然最近的工作探索了在欧几里得对比式视觉语言模型中进行遗忘的有效性，但在双曲空间中的概念删除效果尚未探讨。本文通过适配对齐校准（Alignment Calibration）至 MERU 来研究双曲对比学习中的机器遗忘。MERU 将图像和文本嵌入到双曲空间，以更好地捕获语义层次结构。通过系统实验和消融研究，我们展示了双曲几何为概念删除提供了独特优势，尤其是在扩展到多个概念删除时，能够以合理的保留概念性能实现近乎完美的遗忘。我们的方法引入了双曲空间特有的组件，包括蕴涵校准和范数正则化，利用双曲空间的独特属性。与欧几里得模型的比较揭示了遗忘动力学的根本差异，双曲遗忘重新组织语义层次结构，而欧几里得方法仅断开跨模态关联。这些发现不仅推进了机器遗忘技术，也提供了影响多模态模型中概念表示和删除的几何属性的见解。源代码可在 https://github.com/alex-pv01/HAC 获取。
引用
@article{arxiv.2503.15166,
title = {Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU},
author = {Àlex Pujol Vidal and Sergio Escalera and Kamal Nasrollahi and Thomas B. Moeslund},
journal= {arXiv preprint arXiv:2503.15166},
year = {2025}
}
备注
Preprint