利用高判别力 LNT 特征增强边缘智能

边缘的 AI 算法要求更小的模型尺寸和更低的计算复杂度。为了实现这些目标，我们采用绿色学习（GL）范式而非深度学习范式。GL 有三个模块：1) 无监督表示学习，2) 有监督特征学习，以及 3) 有监督决策学习。在本工作中，我们重点关注第二个模块。具体而言，我们从第一个模块获得的输入特征（记为 x）的适当线性组合中推导出新的判别特征。它们分别被称为互补特征和原始特征。沿着这条线，我们提出了一种新的有监督学习方法，基于最小二乘正态变换（LNT）生成高判别力的互补特征。LNT 包含两个步骤。首先，我们将一个 C 类分类问题转换为二分类问题。这两个类别分别被赋值为 0 和 1。接下来，我们构建一个从 N 维（N-D）特征空间到 1 维输出空间的最小二乘回归问题，并求解最小二乘正规方程以获得一个 N 维法向量，记为 a1。由于一个法向量由一次二分裂产生，我们可以通过 M 次分裂获得 M 个法向量。然后，Ax 被称为 x 的 LNT，其中变换矩阵 A 在 R^{M by N} 中通过堆叠 aj^T, j=1, ..., M 得到，并且 LNT（即 Ax）可以生成 M 个新特征。实验表明，新生成的互补特征比原始特征具有更高的判别力。实验表明，这些新特征可以提高分类性能。