基于模块化损失函数的加权张量分解多关系学习
机器学习
2013-06-04 v2
摘要
我们提出了一种通过张量分解进行多关系学习的模块化框架。在我们的学习设定中，训练数据包含一组对象之间的多种类型关系，我们将其表示为稀疏的三模张量。目标是预测缺失条目的值。为此，我们将每种关系建模为潜在因子线性组合的函数。我们通过计算低秩张量分解来学习这种潜在表示，并使用拟牛顿法优化加权目标函数。加权目标函数捕捉了观测数据中的稀疏性，从而在训练数据有限时提高了准确性。利用稀疏性还提升了效率，相较于未加权方法可能提高一个数量级。此外，我们的框架能够容纳平滑的、特定任务的损失函数的任意组合，使其更适合学习不同类型的关系。针对实值函数和二值关系的典型情况，我们提出了几种损失函数并推导了相关的参数梯度。我们在合成数据和真实数据上评估了该方法，结果显示其在准确性和可扩展性方面均显著优于相关的分解技术。
引用
@article{arxiv.1303.1733,
title = {Multi-relational Learning Using Weighted Tensor Decomposition with Modular Loss},
author = {Ben London and Theodoros Rekatsinas and Bert Huang and Lise Getoor},
journal= {arXiv preprint arXiv:1303.1733},
year = {2013}
}