KDMCSE：具有自适应角间隔对比学习的知识蒸馏多模态句子嵌入
计算与语言
2024-03-27 v1
摘要
先前关于多模态句子嵌入的工作提出了多模态对比学习并取得了有希望的结果。然而，通过在形成对比对时不加审查地将批次中的其余部分作为负样本，这些研究遇到了许多可疑和噪声负例，显著影响了方法的整体性能。在这项工作中，我们提出了 KDMCSE（句子嵌入的知识蒸馏多模态对比学习），这是一种新颖的方法，它增强了多模态表示的判别能力和泛化性，并从教师模型继承知识以学习正例和负例之间的差异，从而能够在对比目标中计算之前有效地检测噪声和错误负样本。此外，为了克服对负对内部变化建模的局限性，我们引入了一个新的对比目标 AdapACSE（用于多模态句子嵌入的自适应角间隔监督对比学习），它通过加强角空间内的间隔同时捕获负样本中变化的语义来增强判别表示。在广泛使用的语义文本相似度（STS）基准上的实验结果证明了我们方法的有效性。
引用
@article{arxiv.2403.17486,
title = {KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning},
author = {Cong-Duy Nguyen and Thong Nguyen and Xiaobao Wu and Anh Tuan Luu},
journal= {arXiv preprint arXiv:2403.17486},
year = {2024}
}
备注
Accepted to NAACL 2024