颜色等变卷积网络
计算机视觉与模式识别
2023-10-31 v1
摘要
颜色是卷积神经网络（CNNs）易于利用进行物体识别的关键视觉线索。然而，当由偶然记录条件引入的颜色变化之间存在数据不平衡时，CNNs 表现不佳。颜色不变性解决了该问题，但代价是移除所有颜色信息，从而牺牲了判别力。在本文中，我们提出颜色等变卷积（CEConvs），一种新颖的深度学习构建模块，它能够在颜色谱上共享形状特征，同时保留重要的颜色信息。我们通过将等变性的概念从几何变换扩展到光度变换，在神经网络中引入关于色调平移的参数共享。我们展示了 CEConvs 在下游任务性能提升以及对颜色变化（包括训练-测试分布偏移）鲁棒性改善方面的优势。我们的方法可无缝集成到现有架构（如 ResNets）中，并为解决 CNNs 中基于颜色的域偏移提供了有前景的方案。
引用
@article{arxiv.2310.19368,
title = {Color Equivariant Convolutional Networks},
author = {Attila Lengyel and Ombretta Strafforello and Robert-Jan Bruintjes and Alexander Gielisse and Jan van Gemert},
journal= {arXiv preprint arXiv:2310.19368},
year = {2023}
}
备注
NeurIPS 2023. Code available on https://github.com/Attila94/ceconv