ATD:通过自监督增强 CP 张量分解
数值分析
2022-09-20 v4 机器学习
数值分析
摘要
张量分解是信号等多维数据降维与特征解释的强有力工具。现有的张量分解目标(例如 Frobenius 范数)是为在统计假设下拟合原始数据而设计的,可能与下游分类任务不一致。在实践中,原始输入张量可能包含无关信息,而数据增强技术可用于平滑样本中与类别无关的噪声。本文通过提出增强张量分解(augmented tensor decomposition, ATD)来解决上述挑战,其有效结合数据增强与自监督学习(self-supervised learning, SSL)以提升下游分类。为解决新增强目标的非凸性,我们开发了一种迭代方法,使优化以交替最小二乘(alternating least squares, ALS)方式进行。我们在多个数据集上评估了所提出的 ATD。它相比基于张量的基线可实现 0.8% - 2.5% 的准确率提升。此外,我们的 ATD 模型在使用少于这些基线模型 5% 的可学习参数的情况下,展现出与自监督和自编码器基线相当或更好的性能(例如准确率最高提升 15%)。
引用
@article{arxiv.2106.07900,
title = {ATD: Augmenting CP Tensor Decomposition by Self Supervision},
author = {Chaoqi Yang and Cheng Qian and Navjot Singh and Cao Xiao and M Brandon Westover and Edgar Solomonik and Jimeng Sun},
journal= {arXiv preprint arXiv:2106.07900},
year = {2022}
}
备注
Improve the nested ALS algorithms in the last version. Accepted into NeurIPS 2022. Code available soon in https://github.com/ycq091044/ATD