面向循环域偏移的在线蒸馏与持续学习
计算机视觉与模式识别
2025-02-18 v1 机器学习
摘要
近年来，在线蒸馏作为一种利用慢速但准确的教师模型实时适配深度神经网络的强大技术崭露头角。然而，在线蒸馏中的一个主要挑战是域偏移时的灾难性遗忘，即当学生模型用来自新域的数据更新并遗忘先前学到的知识时发生。本文中，我们提出一种利用持续学习方法来降低域偏移影响的解决方案。具体而言，我们在在线蒸馏背景下集成了几种 SOTA 持续学习方法，并展示其在减少灾难性遗忘上的有效性。此外，我们针对循环域偏移情况对所提方案进行了详细分析。实验结果表明了我们的方法在提升在线蒸馏鲁棒性与准确性上的功效，其在视频监控或自动驾驶等域具有潜在应用。总体而言，我们的工作代表了在线蒸馏与持续学习领域的重要一步，有潜力对真实世界应用产生显著影响。
引用
@article{arxiv.2304.01239,
title = {Online Distillation with Continual Learning for Cyclic Domain Shifts},
author = {Joachim Houyon and Anthony Cioppa and Yasir Ghunaim and Motasem Alfarra and Anaïs Halin and Maxim Henry and Bernard Ghanem and Marc Van Droogenbroeck},
journal= {arXiv preprint arXiv:2304.01239},
year = {2025}
}
备注
Accepted at the 4th Workshop on Continual Learning in Computer Vision (CVPR 2023)