一种用于在线流式特征选择的几何方法

在线流式特征选择（OSFS）是一种序列学习问题，其中所有样本上的各个特征以流式方式提供给算法。在本工作中，首先，我们断言 OSFS 所假设的运行时拥有全部样本数据这一前提不切实际，并引入一种特征与样本同时流式化的新设定，称为带流式样本的 OSFS（OSFS-SS）。其次，主流 OSFS 方法 SAOLA 采用无界互信息度量，并需要在存储特征集与 incoming 特征集间进行多步比较以评估特征重要性。我们引入几何在线自适应（Geometric Online Adaption）算法，其所需特征比较步骤相对较少，并使用有界条件几何依赖度量。我们的算法在多个数据集上优于包括 SAOLA 在内的若干 OSFS 基线。我们还将 SAOLA 扩展至 OSFS-SS 设定，并表明 GOA 持续取得最佳结果。第三，当前 OSFS 算法比较的范式存在缺陷。算法通过所用特征数与学习器所获准确率进行比较，而这两个属性根本上相互矛盾。若不限定其中任一属性的上限，不同算法所获得特征的质量不可比。我们试图通过固定学习器可用的最大特征数并依据准确率比较算法来纠正该不一致性。此外，我们刻画了 SAOLA 与 GOA 在源自流行深度卷积特征提取器的特征集上的行为。