面向广义线性模型的结构化低秩张量
机器学习
2023-08-08 v1 机器学习
信号处理
统计理论
统计理论
摘要
近期研究表明，在回归问题中对系数张量施加张量结构，相比基于向量的方法可得到更可靠的参数估计并降低样本复杂度。本文研究广义线性模型(GLM)问题中一种称为低分离秩(LSR)的新型低秩张量模型。LSR模型推广了著名的Tucker与CANDECOMP/PARAFAC (CP)模型，并且是块张量分解(BTD)模型的一个特例，被施加于GLM模型的系数张量上。本文提出一种块坐标下降算法用于LSR结构张量GLM中的参数估计。最重要的是，推导了LSR张量GLM问题中系数张量估计误差阈值的极小极大下界。该极小极大界与LSR张量GLM问题中的内禀自由度成正比，表明其样本复杂度可能显著低于向量化GLM。该结果也可专门化以给出CP与Tucker结构GLM中估计误差的下界。所推导的界与文献中Tucker线性回归的紧界相当，并通过数值进一步评估了极小极大下界的紧性。最后，在合成数据集上的数值实验证明了所提LSR张量模型在三类回归(线性、逻辑与泊松)上的有效性。在多个医学影像数据集上的实验表明，在样本有限的实际不平衡数据上，LSR模型优于其他张量模型(Tucker与CP)。
引用
@article{arxiv.2308.02922,
title = {Structured Low-Rank Tensors for Generalized Linear Models},
author = {Batoul Taki and Anand D. Sarwate and Waheed U. Bajwa},
journal= {arXiv preprint arXiv:2308.02922},
year = {2023}
}
备注
43 pages; published in Transactions on Machine Learning Research (08/2023)