超越矩方法:以渐近最优误差鲁棒地学习仿射变换

我们提出了一种多项式时间算法,用于从样本中鲁棒地学习标准超立方体的未知仿射变换,这是独立分量分析(ICA)中一个重要且被广泛研究的设定。具体而言,给定从一个分布$D$得到的$\epsilon$-污染样本,该分布$D$通过对$d$维超立方体$[-1,1]^d$上的均匀分布施加未知仿射变换$x \rightarrow Ax+s$获得,我们的算法构造$\hat{A}, \hat{s}$,使得分布$\hat{D}$与$D$的总变距离在poly$(d)$的时间和样本量下为$O(\epsilon)$。总变距离是我们设定中信息论意义上最强可能的距离概念,且我们在该距离下的恢复保证在乘以$\epsilon$的绝对常数因子范围内是最优的。特别地,若$A$的列被归一化为单位长度,我们的总变距离保证意味着对$A$与$A'$的列向量之间的$\ell_2$距离之和的界,$\sum_{i =1}^d \|a_i-\hat{a}_i\|_2 = O(\epsilon)$。相比之下,已知最强的先前结果仅能对各个$a_i$与其估计值之间的距离给出$\epsilon^{O(1)}$(相对)界,并转化为总变距离上的$O(d\epsilon)$界。我们的关键创新是一种用于ICA(甚至无离群点ICA)的新方法,它规避了经典矩方法的困难,而是依赖于一种仿射变换正确性的新几何证书。我们的算法基于一种新方法,该方法在证书要求未被满足时迭代地改进对未知仿射变换的估计。