用于视觉模型适配与鲁棒性的分组正交正则化
计算机视觉与模式识别
2024-02-20 v2 人工智能
摘要
随着神经网络加深，其参数内部的冗余度增加。该现象催生了若干试图降低卷积滤波器之间相关性的方法。我们提出了一种计算高效的正则化技术，鼓励同一层内滤波器组之间的正交归一性。我们的实验表明，当该技术被纳入近期用于扩散模型和视觉Transformer（ViT）的适配方法中时，可提升下游任务上的性能。我们进一步展示，在对抗训练期间施加分组正交性可改善鲁棒性。我们的代码可在 https://github.com/YoavKurtz/GOR 获取。
关键词
引用
@article{arxiv.2306.10001,
title = {Group Orthogonalization Regularization For Vision Models Adaptation and Robustness},
author = {Yoav Kurtz and Noga Bar and Raja Giryes},
journal= {arXiv preprint arXiv:2306.10001},
year = {2024}
}
备注
BMVC 2023