解耦与重融：从条件因果视角看少样本目标检测中的干预式知识蒸馏
计算机视觉与模式识别
2022-12-12 v2
摘要
少样本学习模型以有限的人为标注学习表征，此种学习范式在诸多任务中（如图像分类、目标检测等）展现出实用性。然而，少样本目标检测方法存在固有缺陷：有限的训练数据使得模型无法充分挖掘语义信息。为此，我们将知识蒸馏引入少样本目标检测学习范式。我们进一步开展了一个启发性实验，表明在知识蒸馏过程中，教师模型的经验误差会劣化作为学生的少样本目标检测模型的预测性能。为理解该现象背后的原因，我们从因果理论角度重新审视少样本目标检测任务上知识蒸馏的学习范式，并据此构建了结构因果模型。遵循理论指导，我们提出了一种基于后门调整的少样本目标检测知识蒸馏方法，即解耦与重融（D&R），以对相应的结构因果模型执行条件因果干预。经实验验证，在基准数据集上的实验表明 D&R 能在少样本目标检测中带来显著的性能提升。代码见 https://github.com/ZYN-1101/DandR.git。
引用
@article{arxiv.2208.12681,
title = {Disentangle and Remerge: Interventional Knowledge Distillation for Few-Shot Object Detection from A Conditional Causal Perspective},
author = {Jiangmeng Li and Yanan Zhang and Wenwen Qiang and Lingyu Si and Chengbo Jiao and Xiaohui Hu and Changwen Zheng and Fuchun Sun},
journal= {arXiv preprint arXiv:2208.12681},
year = {2022}
}
备注
Accepted by AAAI 2023