遗忘更少，计数更准：面向终身人群计数的域增量自蒸馏学习基准
计算机视觉与模式识别
2023-03-03 v2 人工智能
摘要
人群计数在公共安全和疫情控制方面有重要应用。一个鲁棒且实用的人群计数系统必须能够持续地学习现实场景中新到来的域数据，而非仅拟合单一域。现有方法在处理多域时存在一些缺陷：(1) 由于在来自不同域的内在数据分布存在差异，训练新域图像后，模型在旧域上的性能会受限（甚至急剧下降），这被称为灾难性遗忘；(2) 由于域偏移，在特定域上训练良好的模型在其他未见域上性能不理想；(3) 当新域可用时，无论是混合所有数据训练还是简单地为不同域训练数十个独立模型，都会导致存储开销线性增长。为克服这些问题，我们研究了一种增量域训练设定下新的人群计数任务，称为终身人群计数。其目标是利用由增量域更新的单一模型来缓解灾难性遗忘并提升泛化能力。具体而言，我们提出一种自蒸馏学习框架作为终身人群计数的基准（遗忘更少，计数更准，即 FLCB），它帮助模型在新数据到来时可持续利用先前有意义的知识以获得更好的人群计数，从而减轻遗忘。此外，我们提出了一种新的量化指标——归一化反向迁移（nBwT），用于评估模型在终身学习过程中的遗忘程度。大量实验结果证明了我们所提基准在实现低灾难性遗忘程度和强泛化能力方面的优越性。
引用
@article{arxiv.2205.03307,
title = {Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting},
author = {Jiaqi Gao and Jingqi Li and Hongming Shan and Yanyun Qu and James Z. Wang and Fei-Yue Wang and Junping Zhang},
journal= {arXiv preprint arXiv:2205.03307},
year = {2023}
}
备注
This paper has been accepted by Frontiers of Information Technology & Electronic Engineering