Deep Fusion：通过 Transformer 投影头捕获对比学习中的依赖关系
机器学习
2024-10-08 v2 人工智能
摘要
对比学习（CL）已成为一种使用无标签数据训练特征提取模型的强大方法。近期研究表明，在骨干网络之后加入线性投影头可显著提升模型性能。在本工作中，我们研究了在 CL 框架内使用 transformer 模型作为投影头，旨在利用 transformer 捕获嵌入间长程依赖关系的能力以进一步提升性能。我们的主要贡献有四个方面：首先，我们引入了将 transformer 应用于对比学习投影头角色的新方法，这是该领域的首次尝试。其次，我们的实验揭示了一个引人注目的“Deep Fusion”现象，即注意力机制在更深层中逐步捕获同类别样本间的正确关系依赖。第三，我们提供了一个理论框架来解释和支持这种“Deep Fusion”行为。最后，我们通过实验结果证明，与使用前馈层的现有方法相比，我们的模型取得了更优的性能。
引用
@article{arxiv.2403.18681,
title = {Deep Fusion: Capturing Dependencies in Contrastive Learning via Transformer Projection Heads},
author = {Huanran Li and Daniel Pimentel-Alarcón},
journal= {arXiv preprint arXiv:2403.18681},
year = {2024}
}
备注
10 pages, 2 figures