面向图像抠图的特权先验信息蒸馏
计算机视觉与模式识别
2022-11-28 v1 多媒体
摘要
无 trimap 的图像抠图方法在解耦确定区域与未定区域时性能受限，尤其在前景语义模糊、无色度或高透射率的场景中。本文提出一种名为面向图像抠图的特权先验信息蒸馏（PPID-IM）的新框架，能够有效迁移特权先验环境感知信息，以提升学生在处理困难前景时的性能。trimap 的先验信息仅在训练阶段约束教师模型，在实际推理时不输入学生网络。为实现有效的特权跨模态（即 trimap 与 RGB）信息蒸馏，我们引入跨层级语义蒸馏（CLSD）模块，以更具知识性的语义表征与环境感知信息增强无 trimap 的学生模型。我们还提出注意力引导的局部蒸馏模块，将基于 trimap 的教师模型的特权局部属性高效迁移至无 trimap 的学生模型，以指导局部区域优化。大量实验证明了我们的 PPID 框架在图像抠图任务上的有效性与优越性。此外，我们的无 trimap 的 IndexNet-PPID 大幅超越其他竞争的最先进方法，尤其在无色度、弱纹理或不规则物体的场景中。
引用
@article{arxiv.2211.14036,
title = {Privileged Prior Information Distillation for Image Matting},
author = {Cheng Lyu and Jiake Xie and Bo Xu and Cheng Lu and Han Huang and Xin Huang and Ming Wu and Chuang Zhang and Yong Tang},
journal= {arXiv preprint arXiv:2211.14036},
year = {2022}
}
备注
15 pages, 7 figures