置信度感知的特权特征蒸馏：面向短视频分类的 CPFD 方法
机器学习
2024-10-08 v2 计算机视觉与模式识别
摘要
针对不同业务场景的密集特征是短视频分类的关键，但其复杂性、特定的适配需求以及高计算成本使其在在线推理期间资源密集且访问受限。因此，这些密集特征被归类为特权密集特征（Privileged Dense Features）。与此同时，端到端多模态模型在众多计算机视觉任务中显示出前景。在工业应用中，优先考虑端到端多模态特征可提升效率，但常常导致丢失来自历史特权密集特征的有价值信息。为在保持效率和可管理资源成本的同时整合这两类特征，我们提出置信度感知的特权特征蒸馏（Confidence-aware Privileged Feature Distillation, CPFD），该方法通过自适应蒸馏特权特征来增强端到端多模态模型的特征。不同于现有的特权特征蒸馏（PFD）方法对所有实例应用统一权重，可能导致不同业务场景下的性能不稳定以及教师模型（Dense Feature enhanced multimodal-model DF-X-VLM）与学生模型（仅多模态模型 X-VLM）之间存在显著性能差距，CPFD 利用来自教师模型的置信度得分来自适应减轻性能差异。我们在五个多样化任务上进行了大量离线实验，表明 CPFD 在视频分类 F1 分数上较端到端多模态模型（X-VLM）提升 6.76%，较 vanilla PFD 提升 2.31%。此外，它将与教师模型 DF-X-VLM 之间的性能差距缩小 84.6%，效果与教师模型相当。进一步通过在线实验验证了方法有效性，并已在生产系统中部署超过十几个模型。
引用
@article{arxiv.2410.03038,
title = {CPFD: Confidence-aware Privileged Feature Distillation for Short Video Classification},
author = {Jinghao Shi and Xiang Shen and Kaili Zhao and Xuedong Wang and Vera Wen and Zixuan Wang and Yifan Wu and Zhixin Zhang},
journal= {arXiv preprint arXiv:2410.03038},
year = {2024}
}
备注
Camera ready for CIKM 2024