为视觉自回归模型实现适应性方法
计算机视觉与模式识别
2025-07-29 v2 机器学习
摘要
视觉自回归模型(VAR)最近被引入作为图像生成领域中扩散模型(DMs)的替代方案。本文聚焦于其适应性方法，这些方法旨在微调预训练模型以执行特定下游任务，如医学数据生成。虽然扩散模型(DMs)已存在许多技术，但 VAR 的适应性方法仍鲜有探索。类似地，差分隐私(DP)适应性方法——旨在保留适应数据隐私——已广泛研究扩散模型(DMs)，但 VAR lacks 此类解决方案。在本工作中，我们实现并基准测试了许多 VAR 的策略，并将其与最先进的扩散模型(DMs)适应性方法进行比较。我们观察到 VAR 在非 DP 适应性方面优于 DMs，但 DP 的性能受损，这进一步需要为 VAR 的私有适应性方法进行研究。代码可在 https://github.com/sprintml/finetuning_var_dp 获取。
引用
@article{arxiv.2507.11441,
title = {Implementing Adaptations for Vision AutoRegressive Model},
author = {Kaif Shaikh and Franziska Boenisch and Adam Dziedzic},
journal= {arXiv preprint arXiv:2507.11441},
year = {2025}
}
备注
Accepted at DIG-BUGS: Data in Generative Models Workshop @ ICML 2025