非平衡小批量最优传输及其在域适应中的应用
机器学习
2021-03-08 v1 统计理论
机器学习
统计理论
摘要
最优传输距离因其比较非参数概率分布的能力而在机器学习中找到了诸多应用。然而其算法复杂度通常阻碍了在大规模数据集上的直接使用。在缓解该问题的可能策略中，实践者可以依赖在数据子集（即小批量）上计算这些距离的估计值。尽管在计算上颇具吸引力，我们在本文中指出了该策略的一些局限，认为其可能导致不期望的平滑效应。作为替代，我们提出将同样的小批量策略与非平衡最优传输相结合可带来更鲁棒的行为。我们讨论了相关的理论性质，如无偏估计量、梯度的存在性以及集中界。我们的实验研究表明，在域适应相关的挑战性问题中，使用非平衡最优传输可取得显著更好的结果，与近期基线相当或超越之。
引用
@article{arxiv.2103.03606,
title = {Unbalanced minibatch Optimal Transport; applications to Domain Adaptation},
author = {Kilian Fatras and Thibault Séjourné and Nicolas Courty and Rémi Flamary},
journal= {arXiv preprint arXiv:2103.03606},
year = {2021}
}