OSCAR-Net：用于图像溯源的以对象为中心的场景图注意力
计算机视觉与模式识别
2021-10-22 v2 人工智能
机器学习
摘要
图像讲述有力的故事，但不总可信。将图像匹配回可信来源（溯源）使用户能对其在线遇到的图像作出更明智的判断。我们提出一种鲁棒的图像哈希算法来进行此类匹配。我们的哈希对能实质改变图像所讲故事的细微、显著视觉细节的篡改敏感。然而该哈希对图像在线再分发时所经历的良性变换（质量、编解码器、尺寸、形状等的变化）保持不变。我们的关键贡献是 OSCAR-Net（用于图像溯源的以对象为中心的 Scene Graph 注意力网络）；一种受近期 Transformer 在视觉领域成功启发的鲁棒图像哈希模型。OSCAR-Net 构建场景图表示，关注每个对象视觉外观及其空间关系的细粒度变化。该网络通过在原始与篡改图像数据集上的对比学习训练，产生了用于内容指纹识别的 state of the art 图像哈希，可扩展至数百万图像。
引用
@article{arxiv.2108.03541,
title = {OSCAR-Net: Object-centric Scene Graph Attention for Image Attribution},
author = {Eric Nguyen and Tu Bui and Vishy Swaminathan and John Collomosse},
journal= {arXiv preprint arXiv:2108.03541},
year = {2021}
}
备注
Accepted at the International Conference on Computer Vision (ICCV), 2021. Project site: https://exnx.github.io/oscar/