跨模态对抗重编程
人工智能
2021-10-26 v3 机器学习
摘要
随着大规模深度学习模型的丰富，重新利用预训练网络执行新任务已成为可能。近期关于对抗重编程的研究表明，可以在不修改网络架构或参数的情况下将神经网络重新用于其他任务。然而这些工作仅考虑同一数据域内的原始任务和目标任务。本工作中，我们将对抗重编程的范围扩展到原始任务的数据模态之外。我们分析了将图像分类神经网络对抗性地重新用于自然语言处理(NLP)及其他序列分类任务的可行性。我们设计了一种高效的对抗程序，将离散词元序列映射为图像，该图像可被图像分类模型分类至期望类别。我们证明，通过使用高效对抗程序，我们可以重新编程图像分类器，在多种文本和序列分类基准上取得有竞争力的性能，而无需重新训练网络。
引用
@article{arxiv.2102.07325,
title = {Cross-modal Adversarial Reprogramming},
author = {Paarth Neekhara and Shehzeen Hussain and Jinglong Du and Shlomo Dubnov and Farinaz Koushanfar and Julian McAuley},
journal= {arXiv preprint arXiv:2102.07325},
year = {2021}
}
备注
Accepted at WACV 2022