面向不完整数据的可扩展张量分解
数值分析
2015-03-17 v1 数值分析
数据分析、统计与概率
摘要
多路数组中不完整数据（即缺失或未知值的数据）问题在生物医学信号处理、网络流量分析、文献计量学、社交网络分析、化学计量学、计算机视觉、通信网络等领域普遍存在。我们考虑如何分解带有缺失值的数据集，目标是捕捉数据的潜在结构并可能重建缺失值（即张量补全）。我们专注于最著名的捕捉多线性结构的张量分解之一，CANDECOMP/PARAFAC (CP)。在存在缺失数据的情况下，CP可以表述为一个加权最小二乘问题，仅对已知条目建模。我们开发了一种称为CP-WOPT（CP加权优化）的算法，使用一阶优化方法求解加权最小二乘问题。基于广泛的数值实验，我们的算法成功分解了带有噪声且缺失数据高达99%的张量。我们方法的一个独特之处在于它可以扩展到稀疏大规模数据，例如1000 x 1000 x 1000且已知条目为五百万（0.5%密度）。我们进一步在两个实际应用中展示了CP-WOPT的实用性：一个新颖的脑电图（EEG）应用，其中由于电极断开经常遇到缺失数据，以及计算机网络流量建模问题，其中由于数据收集过程的成本可能缺失数据。
引用
@article{arxiv.1005.2197,
title = {Scalable Tensor Factorizations for Incomplete Data},
author = {Evrim Acar and Tamara G. Kolda and Daniel M. Dunlavy and Morten Morup},
journal= {arXiv preprint arXiv:1005.2197},
year = {2015}
}