具有先验知识的多线性压缩学习

最近提出的多线性压缩学习（MCL）框架将多线性压缩感知与机器学习结合为一个端到端系统，在设计感知和特征合成组件时考虑了信号的多维结构。MCL背后的关键思想是假设存在一个张量子空间，能够从信号中捕获下游学习任务的本质特征。因此，找到这样一个有判别力的张量子空间并优化系统将信号投影到该数据流形上，在多线性压缩学习中起着重要作用。在本文中，我们提出一种新颖方案来解决上述两个需求，即如何找到那些信号高度可分的张量子空间？以及如何优化感知和特征合成组件以将原始信号变换到第一个问题中发现的数据流形？在我们的方案中，高质量数据流形的发现是通过在推理任务上训练非线性压缩学习系统来进行的。其对感兴趣数据流形的知识随后通过多阶段监督训练逐步迁移到MCL组件，监督信息编码了压缩测量、合成特征和预测应呈现的样子。所提出的知识迁移算法还带有一个半监督自适应，使压缩学习模型能有效利用无标签数据。大量实验表明，所提出的知识迁移方法能有效训练MCL模型，以压缩感知并合成更好的特征用于学习任务，性能得到提升，尤其在学习任务复杂度增加时。