SeLoRA: 用于医学图像合成的自扩展潜变量扩散模型低秩适配
计算机视觉与模式识别
2024-08-15 v1
摘要
标注数据的稀缺以及为多模态分析合成'缺失模态'的需求，给医学图像合成带来了持续的挑战，凸显了开发有效合成方法的紧迫性 recently，将低秩适配（LoRA）与潜变量扩散模型（LDM）相结合已成为在医学领域高效适配预训练大语言模型的可行方法。然而，直接应用 LoRA 假设所有线性层具有统一的秩，忽略了不同权重矩阵的重要性，从而导致次优结果。先前的 LoRA 研究侧重于减少可训练参数，而进一步定制这一适配过程以满足医学图像合成的复杂需求存在机会。作为回应，我们提出了 SeLoRA（自扩展低秩适配模块），它在训练过程中动态扩展各层的秩，将额外的秩策略性地放置在关键层上，使模型能够在最需要的地方提升合成质量。所提出的方法不仅使 LDM 能够高效地在医学数据上微调，还使模型能够以最小的秩实现改进的图像质量。我们 SeLoRA 方法的代码在 https://anonymous.4open.science/r/SeLoRA-980D 上公开发布。
引用
@article{arxiv.2408.07196,
title = {SeLoRA: Self-Expanding Low-Rank Adaptation of Latent Diffusion Model for Medical Image Synthesis},
author = {Yuchen Mao and Hongwei Li and Wei Pang and Giorgos Papanastasiou and Guang Yang and Chengjia Wang},
journal= {arXiv preprint arXiv:2408.07196},
year = {2024}
}
备注
Project Page: https://yuchen20.github.io/SeLoRA.github.io/