基于广义张量迹范数的深度多任务学习
机器学习
2020-02-13 v1 机器学习
摘要
迹范数在多任务学习中被广泛使用，因为它能够基于模型参数发现任务间的低秩结构。如今，随着大数据集的出现和深度学习技术的普及，张量迹范数已被用于深度多任务模型。然而，现有的张量迹范数无法发现所有的低秩结构，并且需要用户手动确定其各分量的重要性。为了同时解决这两个问题，本文提出一种广义张量迹范数（Generalized Tensor Trace Norm, GTTN）。GTTN 定义为所有可能张量展开（tensor flattening）的矩阵迹范数的凸组合，因此能够发现所有可能的低秩结构。在所诱导的目标函数中，我们将学习 GTTN 中的组合系数以自动确定重要性。在真实数据集上的实验证明了所提出的 GTTN 的有效性。
引用
@article{arxiv.2002.04799,
title = {Deep Multi-Task Learning via Generalized Tensor Trace Norm},
author = {Yi Zhang and Yu Zhang and Wei Wang},
journal= {arXiv preprint arXiv:2002.04799},
year = {2020}
}