跨模态蒸馏：以条件生成对抗网络为例
图像与视频处理
2018-07-23 v1
摘要
本文提出使用条件生成对抗网络（CGAN）来蒸馏（即迁移）传感器数据知识并增强低分辨率目标检测。在无约束监控环境中，传感器测量常含噪声、退化、损坏甚至缺失，从而给多模态融合带来显著问题。因此我们专门解决缺失模态问题，尝试提出一种基于 CGAN 的算法，在给定其他可用模态时从缺失模态生成代表性信息。尽管存在模态鸿沟，我们表明可将知识从一组模态蒸馏至另一组模态。此外，我们证明该方法取得了优于传统方法与近期教师–学生模型的性能。
引用
@article{arxiv.1807.07682,
title = {Cross-Modality Distillation: A case for Conditional Generative Adversarial Networks},
author = {Siddharth Roheda and Benjamin S. Riggan and Hamid Krim and Liyi Dai},
journal= {arXiv preprint arXiv:1807.07682},
year = {2018}
}
备注
Accepted and Presented at ICASSP 2018