中文

基于 Tucker 分解的张量回归噪声增强 $\ell_0$ 正则化

机器学习 2024-12-19 v2

摘要

张量数据是多维数组。基于低秩分解的带张量预测变量的回归方法利用张量预测变量中的结构信息,同时显著减少张量回归中的参数数量。我们提出一种名为 NA0_0CT2^2(Tucker 分解中核张量 0\ell_0 正则化的噪声增强)的方法,对张量回归(TR)中的参数进行正则化,并与 Tucker 分解相结合。我们从理论上证明,NA0_0CT2^2 在线性 TR 和广义线性 TR 中实现了对 Tucker 分解核张量的精确 0\ell_0 正则化。据我们所知,NA0_0CT2^2 是 TR 中首个实现核张量 0\ell_0 的基于 Tucker 分解的正则化方法。NA0_0CT2^2 通过迭代过程实现,每次迭代包含两步简单操作——基于更新参数估计的 Tucker 分解核张量生成含噪数据,并在向量化预测变量上的噪声增强数据上运行常规 GLM。我们在模拟研究和真实数据应用中展示了 NA0_0CT2^2 的实现及其 0\ell_0 正则化效果。结果表明,与其他带或不带正则化的基于分解的 TR 方法相比,NA0_0CT2^2 能改善预测,并且虽非为此设计却也能识别重要预测变量。

关键词

引用

@article{arxiv.2302.10775,
  title  = {Noise-Augmented $\ell_0$ Regularization of Tensor Regression with Tucker Decomposition},
  author = {Tian Yan and Yinan Li and Fang Liu},
  journal= {arXiv preprint arXiv:2302.10775},
  year   = {2024}
}