保护、展示、注意力与描述：赋予图像描述模型所有权保护能力
计算机视觉与模式识别
2021-09-01 v2 密码学与安全
摘要
总体而言，现有的深度神经网络知识产权保护（IP）通常 i) 仅关注图像分类任务，且 ii) 遵循传统上用于保护多媒体和视频内容所有权的标准数字水印框架。本文表明，当前的数字水印框架不足以保护常被视为前沿 AI 问题之一图像描述任务。作为补救，本文研究并提出了两种不同的嵌入方案，将信息嵌入循环神经网络的隐藏记忆状态中以保护图像描述模型。从经验角度，我们证明伪造的密钥将产生不可用的图像描述模型，从而挫败侵权意图。据我们所知，本工作是首个提出图像描述任务所有权保护的研究。此外，大量实验表明，所提方法不会损害 Flickr30k 和 MS-COCO 数据集上所有常用描述指标的原始图像描述性能，同时能够抵御移除攻击和模糊攻击。代码见 https://github.com/jianhanlim/ipr-imagecaptioning
引用
@article{arxiv.2008.11009,
title = {Protect, Show, Attend and Tell: Empowering Image Captioning Models with Ownership Protection},
author = {Jian Han Lim and Chee Seng Chan and Kam Woh Ng and Lixin Fan and Qiang Yang},
journal= {arXiv preprint arXiv:2008.11009},
year = {2021}
}
备注
Accepted at Pattern Recognition, 17 pages