HAD: 终身异构学习的异构感知蒸馏
计算机视觉与模式识别
2026-03-30 v1
摘要
终身学习旨在在保留先前任务知识的同时融入来自一系列新任务的知识。然而，大多数先前工作仅探索同质任务流（例如，仅分类任务），忽视了在不同输出结构的异构任务间学习的场景。在本工作中，我们将这一更广泛的设定形式化为终身异构学习（LHL）。与传统的终身学习不同，LHL的任务序列跨越不同的任务类型，学习者需要为不同的输出空间结构保留异构知识。为实例化LHL，我们聚焦于密集预测中的LHL（LHL4DP），这是一个现实且具有挑战性的场景。为此，我们提出了异构感知蒸馏（HAD）方法，一种无样本示例的方法，通过每个训练阶段的自蒸馏来保留先前获得的异构知识。所提出的HAD包含两个互补组件，包括一个分布均衡的异构感知蒸馏损失，用于缓解预测分布的全局不平衡，以及一个显著性引导的异构感知蒸馏损失，用于聚焦于通过Sobel算子提取的信息丰富边缘像素。大量实验表明，所提出的HAD方法在此新场景中显著优于现有方法。
引用
@article{arxiv.2603.26192,
title = {HAD: Heterogeneity-Aware Distillation for Lifelong Heterogeneous Learning},
author = {Xuerui Zhang and Xuehao Wang and Zhan Zhuang and Linglan Zhao and Ziyue Li and Xinmin Zhang and Zhihuan Song and Yu Zhang},
journal= {arXiv preprint arXiv:2603.26192},
year = {2026}
}