面向高阶张量数据的结构保持边际分布学习：低秩分解方法
机器学习
2025-09-19 v1
摘要
大边际分布机器 (LMDM) 是一种近期在分类器设计中取得的进展，优化的不仅是最小边际（如 SVM），而是整个边际分布，从而提升泛化性能。然而，现有 LMDM 形式仅限于向量化输入，难以处理高维张量数据，因为需要进行展平，破坏数据内在的多模态结构并增加计算负担。本文提出结构保持边际分布学习方法，面向高阶张量数据并采用低秩分解 (SPMD-LRT)，直接作用于张量表示而无需向量化。SPMD-LRT 通过纳入一阶和二阶张量统计量（边际均值与方差）于目标函数中，保留多维空间结构；同时利用秩-1 (CP)、更高秩 CP 和 Tucker 分解参数化权重张量。开发了交替优化（双梯度下降）算法，高效求解 SPMD-LRT，迭代更新因子矩阵和核心张量。该方法使 SPMD-LRT 能在保持高阶数据结构信息的同时，优化边际分布以提升分类性能。广泛实验表明，SPMD-LRT 在 MNIST、图像和 fMRI 神经影像等多样数据集上，优于传统 SVM、基于向量的 LMDM 以及现有张量-based SVM 扩展（Support Tensor Machines 和 Support Tucker Machines）。尤其值得注意的是，采用 Tucker 分解的 SPMD-LRT 取得最高准确率，凸显结构保持的优势。这些结果确认了 SPMD-LRT 在处理高维张量数据进行分类方面的有效性和鲁健性。
引用
@article{arxiv.2509.14577,
title = {Structure-Preserving Margin Distribution Learning for High-Order Tensor Data with Low-Rank Decomposition},
author = {Yang Xu and Junpeng Li and Changchun Hua and Yana Yang},
journal= {arXiv preprint arXiv:2509.14577},
year = {2025}
}