GIID-Net：基于神经架构搜索与注意力的一般化图像修复检测网络
摘要
深度学习（DL）已在图像修复领域展现出强大能力，能够生成视觉上可信的结果。同时，先进图像修复工具（例如移除关键物体以报道假新闻）的恶意使用，对图像数据的可靠性造成了日益增长的威胁。为应对修复伪造，本文提出一种新颖的端到端一般化图像修复检测网络（GIID-Net），以像素级精度检测修复区域。所提 GIID-Net 由三个子模块组成：增强模块、提取模块和决策模块。具体而言，增强模块旨在通过分层组合的特殊层增强修复痕迹。提取模块由神经架构搜索（NAS）算法自动设计，旨在为实际修复检测任务提取特征。为进一步优化提取的潜在特征，我们在决策模块中集成全局与局部注意力模块，其中全局注意力通过度量全局特征的相似性来减小类内差异，而局部注意力强化局部特征的一致性。此外，我们深入研究了 GIID-Net 的一般化能力，发现不同训练数据会导致差异巨大的泛化能力。大量实验结果验证了所提 GIID-Net 相较于最先进（SOTA）方法的优越性。我们的结果表明不同图像修复方法间存在共有的伪影。最后，我们构建了一个含 10K 图像对的公开修复数据集，以供该领域未来研究使用。
引用
@article{arxiv.2101.07419,
title = {GIID-Net: Generalizable Image Inpainting Detection via Neural Architecture Search and Attention},
author = {Haiwei Wu and Jiantao Zhou},
journal= {arXiv preprint arXiv:2101.07419},
year = {2021}
}
备注
Some errors are found in the Section V of Experimental Results, and more experiments are needed to be added. Besides, there are some modifications we want to present in the Section III of the Methods, e.g., updating the figures for better describe the proposed methods. Thanks!