带组稀疏正则化的快速正则化离散最优传输
机器学习
2023-03-15 v1 机器学习
摘要
正则化离散最优传输(OT)是衡量在两个不同域上由数据样本构建的两个离散分布之间距离的有力工具。尽管其在机器学习中有广泛应用,某些情况下仅其中一个域的样本带有类标签,如非监督域适应。在此类问题设定中,常利用组稀疏正则化器作为正则项来处理类标签。特别地,它可通过将具有相同类标签的数据样本对应到一个组稀疏正则化项来保留样本上的标签结构。因此,我们可通过求解带梯度算法正则化优化问题,在利用标签信息的同时度量距离。然而,当类数或样本数较大时梯度计算代价高昂,因为正则项数量及其各自规模也变得很大。本文提出带组稀疏正则化的快速离散 OT。我们的方法基于两点思想。其一是安全地跳过必为零的梯度计算。其二是高效提取预期非零的梯度。我们的方法保证返回与目标函数原方法相同的值。实验表明,在不降低精度的情况下,我们的方法比原方法快至多 8.6 倍。
引用
@article{arxiv.2303.07597,
title = {Fast Regularized Discrete Optimal Transport with Group-Sparse Regularizers},
author = {Yasutoshi Ida and Sekitoshi Kanai and Kazuki Adachi and Atsutoshi Kumagai and Yasuhiro Fujiwara},
journal= {arXiv preprint arXiv:2303.07597},
year = {2023}
}
备注
This is an extended version of the paper accepted by the 37th AAAI Conference on Artificial Intelligence (AAAI 2023)