用于检测与分割被篡改面部图像及视频的多任务学习
计算机视觉与模式识别
2019-06-18 v1
摘要
检测被篡改图像与视频是数字媒体取证中的重要课题。多数检测方法使用二分类确定查询样本被篡改的概率。另一重要课题是定位篡改区域（即分割），其大多由三种常用攻击造成：移除、复制-移动与拼接。我们设计了一种采用多任务学习方法的卷积神经网络，可同时检测被篡改的图像与视频并定位各查询的篡改区域。执行一任务所获信息与他任务共享，从而提升两任务性能。采用半监督学习方法提升网络泛化性。网络含一个编码器与 Y 形解码器。编码特征的激活用于二分类。解码器一支输出用于分割篡改区域，另一支用于重建输入，有助于提升整体性能。使用 FaceForensics 与 FaceForensics++ 数据库的实验证明了网络对人脸重演攻击与换脸攻击的有效性，及其处理已见攻击失配条件的能力。此外，仅用少量数据微调即可使网络应对未见攻击。
引用
@article{arxiv.1906.06876,
title = {Multi-task Learning For Detecting and Segmenting Manipulated Facial Images and Videos},
author = {Huy H. Nguyen and Fuming Fang and Junichi Yamagishi and Isao Echizen},
journal= {arXiv preprint arXiv:1906.06876},
year = {2019}
}
备注
Accepted to be Published in Proceedings of the IEEE International Conference on Biometrics: Theory, Applications and Systems (BTAS) 2019, Florida, USA