面向增量与减量特征的演化度量学习
机器学习
2021-07-01 v2 机器学习
摘要
在线度量学习因计算成本低而被广泛用于大规模数据分类。然而，在特征不断演化（例如某些特征消失、某些新特征加入）的在线实际场景中，尽管大多数度量学习模型能高效处理演化实例，却无法成功应用于这些场景。为应对该挑战，我们提出了一种面向增量与减量特征的新型在线演化度量学习（EML）模型，该模型通过结合平滑 Wasserstein 度量距离，可同时处理实例与特征的演化。具体而言，我们的模型包含两个关键阶段：转换阶段（T-stage）与继承阶段（I-stage）。在 T-stage 中，我们提出从消失特征中提取重要信息而忽略非信息性知识，并通过将存活特征变换至低秩判别度量空间将其前传。它进一步挖掘异质样本的内在低秩结构，以降低计算和内存负担，尤其针对高维大规模数据。在 I-stage 中，我们从 T-stage 继承存活特征的度量性能，再扩展以纳入新增加的特性。此外，由于演化特征在不同阶段并非严格对齐，我们利用平滑 Wasserstein 距离来刻画异质复杂样本间的相似关系。除应对一次性情形的挑战外，我们还将模型扩展至多步场景。在推导出 T-stage 与 I-stage 的高效优化策略后，在多个数据集上的大量实验验证了 EML 模型的优越性能。
引用
@article{arxiv.2006.15334,
title = {Evolving Metric Learning for Incremental and Decremental Features},
author = {Jiahua Dong and Yang Cong and Gan Sun and Tao Zhang and Xu Tang and Xiaowei Xu},
journal= {arXiv preprint arXiv:2006.15334},
year = {2021}
}
备注
Accepted to IEEE Transactions on Circuits and Systems for Video Technology (TCSVT 2021)