带乱序标签线性回归的最优估计器
机器学习
2023-10-03 v1 机器学习
摘要
本文考虑带乱序标签的线性回归任务,即 Y=ΠXB+W,其中 Y∈Rn×m,Pi∈Rn×n,X∈Rn×p,B∈Rp×m 和 W∈Rn×m 分别表示感知结果、(未知或缺失的)对应信息、感知矩阵、感兴趣信号与加性感知噪声。给定观测 Y 与感知矩阵 X,我们提出一种一步估计器来重构 (Π,B)。从计算角度看,我们估计器的复杂度为 O(n3+np2m),不大于线性分配算法(如 O(n3))与最小二乘算法(如 O(np2m))的最大复杂度。从统计角度看,我们将最小 snr 需求划分为四个区间,即未知、困难、中等和容易区间;并给出各区间下正确置换恢复的充分条件:(i) 在容易区间中 snr≥Ω(1);(ii) 在中等区间中 snr≥Ω(logn);(iii) 在困难区间中 snr≥Ω((logn)c0⋅nc1/srank(B))(c0,c1 为某些正常数,srank(B) 表示 B 的稳定秩)。最后,我们亦提供数值实验以证实上述论断。
引用
@article{arxiv.2310.01326,
title = {Optimal Estimator for Linear Regression with Shuffled Labels},
author = {Hang Zhang and Ping Li},
journal= {arXiv preprint arXiv:2310.01326},
year = {2023}
}