基于 Wasserstein 距离的自监督学习实证研究
机器学习
2024-02-07 v2 机器学习
摘要
本研究中，我们深入探讨了利用树结构上的 1-Wasserstein 距离（即树-Wasserstein 距离（TWD））的自监督学习（SSL）问题，其中 TWD 定义为两个树嵌入向量间的 L1 距离。在 SSL 方法中，余弦相似度常被用作目标函数；然而，利用 Wasserstein 距离时尚未得到充分研究。训练 Wasserstein 距离在数值上具有挑战性。因此，本研究实证考察了以 Wasserstein 距离优化 SSL 的策略，并找到了稳定的训练流程。更具体地，我们评估了两类 TWD（全变分与 ClusterTree）与若干概率模型（包括 softmax 函数、ArcFace 概率模型与单纯形嵌入）的组合。我们提出了一种简单而有效的基于 Jeffrey 散度的正则化方法来稳定优化。通过在 STL10、CIFAR10、CIFAR100 和 SVHN 上的实证实验，我们发现 softmax 函数与 TWD 的简单组合可取得显著低于标准 SimCLR 的结果。此外，TWD 与 SimSiam 的简单组合无法训练模型。我们发现模型性能依赖于 TWD 与概率模型的组合，且 Jeffrey 散度正则化有助于模型训练。最后，我们表明 TWD 与概率模型的恰当组合优于基于余弦相似度的表示学习。
引用
@article{arxiv.2310.10143,
title = {An Empirical Study of Self-supervised Learning with Wasserstein Distance},
author = {Makoto Yamada and Yuki Takezawa and Guillaume Houry and Kira Michaela Dusterwald and Deborah Sulem and Han Zhao and Yao-Hung Hubert Tsai},
journal= {arXiv preprint arXiv:2310.10143},
year = {2024}
}