多任务图像变形模型
密码学与安全
2024-05-27 v3 机器学习
摘要
虽然近期的图像变形方法在现有基准测试上取得了显著成功，但仍需为每个特定任务分别训练模型，无法很好地泛化到不同的相机模型或定制化的变形操作。为解决实际中的多种变形需求，本文提出了多个任务图像变形模型（命名为MOWA）。具体而言，我们通过在区域级别和像素级别分离运动估计，缓解了多任务学习的难度。进一步为实现动态任务感知的图像变形，我们引入了轻量级基于点的分类器，用于预测任务类型，作为提示来调制特征图，以获得更准确的估计。据我们了解，这是首个解决多个实际变形任务于单一模型中的工作。广泛的实验表明，经过在六个任务上训练的MOWA在大多数任务上均优于最先进的任务特定模型。此外，MOWA在跨域和零样本评估中也展现出良好的泛化潜力。代码和更多可视化结果可在项目页面找到：https://kangliao929.github.io/projects/mowa/。
引用
@article{arxiv.2404.10715,
title = {Dynamic Frequency-Based Fingerprinting Attacks against Modern Sandbox Environments},
author = {Debopriya Roy Dipta and Thore Tiemann and Berk Gulmezoglu and Eduard Marin and Thomas Eisenbarth},
journal= {arXiv preprint arXiv:2404.10715},
year = {2024}
}