渐进式 Voronoi 图细分：面向无样本类增量学习的整体几何框架
计算机视觉与模式识别
2022-07-29 v1 机器学习
摘要
无样本类增量学习（CIL）是一个具有挑战性的问题，因为严格禁止复现先前阶段的数据，导致深度神经网络（DNNs）发生灾难性遗忘。本文提出 iVoro，一个源自计算几何的 CIL 整体框架。我们发现 Voronoi 图（VD）——一种经典的空间细分模型——对解决 CIL 问题尤为有效，因为 VD 本身可以以增量方式有利地构建：新添加的站点（类）仅影响邻近类，使非邻接类几乎不可遗忘。进一步，为寻找更好的 VD 构建中心集，我们通过 Power 图将 DNN 与 VD 结合，并表明 VD 结构可通过使用分治算法集成局部 DNN 模型来优化。此外，我们的 VD 构建不限于深层特征空间，也适用于多个中间特征空间，将 VD 提升为多中心 VD（CIVD），高效捕获来自 DNN 的多粒度特征。重要的是，iVoro 还能处理不确定性感知的测试时 Voronoi 单元分配，并展现出几何不确定性与预测精度之间的高度相关性（高达约 0.9）。综合来看，与最先进的非样本 CIL 方法相比，iVoro 在 CIFAR-100、TinyImageNet 和 ImageNet-Subset 上分别实现了高达 25.26%、37.09% 和 33.21% 的提升。总之，iVoro 实现了高精度、隐私保护且几何可解释的 CIL，在跨阶段数据共享被禁止（例如医学应用）时尤为有用。我们的代码可在 https://machunwei.github.io/ivoro 获取。
引用
@article{arxiv.2207.14202,
title = {Progressive Voronoi Diagram Subdivision: Towards A Holistic Geometric Framework for Exemplar-free Class-Incremental Learning},
author = {Chunwei Ma and Zhanghexuan Ji and Ziyun Huang and Yan Shen and Mingchen Gao and Jinhui Xu},
journal= {arXiv preprint arXiv:2207.14202},
year = {2022}
}
备注
Preprint. Under review. Up to 37.09% improvement for Class-Incremental Continual Learning. Code freely available!