StyleQoRA：面向少样本多风格编辑的质量感知低秩适配
计算机视觉与模式识别
2026-03-24 v4
摘要
近年来，图像编辑受到了广泛关注。然而，通用图像编辑模型常常在面对新风格时难以产生令人满意的结果。挑战在于如何仅使用有限的配对数据和最小参数数量有效地微调通用图像编辑模型以适应新风格。为此，本文提出了一种 novel 少样本多风格编辑框架。 For this task，我们构建了一个涵盖五种不同风格的基准数据集。相应地，我们提出了用于少样本多风格编辑的质量感知低秩适配(StyleQoRA)。我们的方法StyleQoRA通过一种 novel 方法自动确定每层的最佳秩，该方法使用图像质量指标估计每个单秩组件的重要性得分。为平衡专业化和知识共享，我们在StyleQoRA中设计了具有混合路由的Mixture-of-Experts(MoE) LoRA，包括防止跨风格混淆的风格特定路由和捕获常见转换模式的风格共享路由。此外，我们探索了在扩散变换器(DiT)模型中插入LoRA的最佳位置，并集成了对抗学习和流匹配以指导扩散训练过程。实验结果表明，我们的方法在显著减少LoRA参数数量的同时优于现有的state-of-the-art方法。我们的代码和数据集可在 https://github.com/cao-cong/FSMSE 上获取。
引用
@article{arxiv.2511.11236,
title = {StyleQoRA: Quality-Aware Low-Rank Adaptation for Few-Shot Multi-Style Editing},
author = {Cong Cao and Huanjing Yue and Yujie Xu and Xiaodong Xu},
journal= {arXiv preprint arXiv:2511.11236},
year = {2026}
}