COLORA：面向卷积模型的高效微调——以光学相干断层扫描图像分类为案例研究
高能物理 - 理论
2025-05-27 v1
摘要
我们提出了 CoLoRA（Convolutional Low-Rank Adaptation），一种面向卷积神经网络（CNN）的参数高效微调方法。CoLoRA 通过将核更新分解为轻量级逐深度和逐点分量，将 LoRA 扩展到卷积层。该设计将可训练参数数量减少到传统微调的 0.2 倍，保留了原始模型大小，并允许在每个训练周期后将更新合并到预训练权重中，保持推理复杂度不变。在 OCTMNISTv2 上，CoLoRA 应用于 VGG16 和 ResNet50，与强基线（Vision Transformers、状态空间模型和 Kolmogorov-Arnold 模型）相比，准确率提升了 1%，AUC 提升了 0.013，同时每个训练周期的训练时间减少了近 20%。结果表明，CoLoRA 为医学图像分类的全参数微调提供了一种稳定且有效的替代方案。
引用
@article{arxiv.2505.18314,
title = {Properties of scalar partition functions of 2d CFTs},
author = {Nathan Benjamin and Cyuan-Han Chang and A. Liam Fitzpatrick and Tobi Ramella},
journal= {arXiv preprint arXiv:2505.18314},
year = {2025}
}
备注
39 pages + appendices, 5 figures