基于 Frank-Wolfe 方法的在线正交字典学习

字典学习是信号处理和机器学习中一种广泛使用的无监督学习方法。现有的字典学习工作大多以离线方式进行。离线字典学习主要有两种方式。一种是对字典和稀疏编码交替优化;另一种是将字典限制于正交群上进行优化。后者称为正交字典学习,其实现复杂度较低,因此更受低成本设备青睐。然而,现有的正交字典学习方案仅适用于批量数据,无法在线实现,不适用于实时应用。本文提出一种新颖的在线正交字典方案,从流数据中动态学习字典而无需存储历史数据。所提方案包括新颖的问题建模与高效的在线算法设计及收敛性分析。在问题建模中,我们放宽正交约束以实现高效的在线算法。在算法设计中,我们提出一种基于 Frank-Wolfe 的新在线算法,其收敛速率为 O(ln t/t^(1/4))。并推导了关于关键系统参数的收敛速率。基于合成数据和真实传感器读数的实验证明了所提在线正交字典学习方案的有效性与高效性。