基于多级跨模态知识蒸馏的热图像轻量级人脸关键点检测
机器学习
2025-10-27 v2 计算机视觉与模式识别
摘要
热图像人脸关键点检测（FLD）对于在挑战性光照条件下的应用至关重要，但因缺乏丰富的视觉线索而受到限制。传统的跨模态解决方案，如特征融合或从RGB数据进行图像翻译，往往计算昂贵或引入结构性瑕疵，限制了其实际部署。为此，我们提出一种新型框架——多级跨模态知识蒸馏（MLCM-KD），将高保真RGB到热的知识传递与模型压缩解耦，以创建既准确又高效的热图像FLD模型。知识传递过程中面临的核心挑战在于RGB与热数据之间的显著模态差异，传统单向蒸馈无法在异构特征空间之间强制语义一致性。为克服此问题，我们引入了双向知识蒸馈（DIKD）机制，专为此任务而设计。DIKD在模态之间建立连接：它不仅用丰富的RGB特征指导热学生，还通过将学生学习的表示反馈给冻结的教师预测头来验证学生的表征。这种闭环监督迫使学生学习与教师在语义上对齐的模态不变特征，确保知识的稳健且深入的传递。实验表明，我们的方法在公共热图像FLD基准测试中树立了新纪录，显著优于前任方法，同时大幅降低计算开销。
引用
@article{arxiv.2510.11128,
title = {Lightweight Facial Landmark Detection in Thermal Images via Multi-Level Cross-Modal Knowledge Transfer},
author = {Qiyi Tong and Olivia Nocentini and Marta Lagomarsino and Kuanqi Cai and Marta Lorenzini and Arash Ajoudani},
journal= {arXiv preprint arXiv:2510.11128},
year = {2025}
}