SWIFT：面向稀疏非负张量的可扩展 Wasserstein 分解
机器学习
2020-12-16 v2
摘要
现有的张量分解方法假设输入张量服从某些特定分布（即 Poisson、Bernoulli 和 Gaussian 分布），并通过最小化基于相应分布定义的某些经验损失函数来求解分解。然而，这存在几个缺点：1）在现实中，底层分布复杂且未知，使得其无法被简单分布近似。2）输入张量各维度之间的相关性未被充分利用，导致性能次优。尽管已有启发式方法将这种相关性作为 Gaussian 分布下的辅助信息引入，但它们难以推广到其他分布。因此，在张量分解模型中利用相关性的更具原则性的方法仍是一个开放挑战。在不假设任何显式分布的情况下，我们将张量分解表述为带有 Wasserstein 距离的最优传输问题，该问题能够处理非负输入。我们提出了 SWIFT，它通过最小化 Wasserstein 距离来衡量输入张量与重构张量之间的距离。特别地，我们为广泛使用的张量 CP 分解定义了 N 阶张量 Wasserstein 损失，并推导了使其最小化的优化算法。通过利用稀疏结构和不同的等价形式以优化计算效率，SWIFT 与其他著名的 CP 算法具有同等的可扩展性。以因子矩阵作为特征，在下游预测任务中，SWIFT 相对基线方法实现了高达 9.65% 和 11.31% 的提升。在噪声条件下，SWIFT 在预测任务中相对最佳竞争方法实现了高达 15% 和 17% 的提升。
引用
@article{arxiv.2010.04081,
title = {SWIFT: Scalable Wasserstein Factorization for Sparse Nonnegative Tensors},
author = {Ardavan Afshar and Kejing Yin and Sherry Yan and Cheng Qian and Joyce C. Ho and Haesun Park and Jimeng Sun},
journal= {arXiv preprint arXiv:2010.04081},
year = {2020}
}
备注
Accepted by AAAI-21