S2-BNN：通过引导分布校准弥合自监督实值网络与1-bit神经网络之间的鸿沟
计算机视觉与模式识别
2021-06-22 v2 人工智能
机器学习
摘要
以往研究主要致力于实值网络上的自监督学习，并取得了许多有前景的结果。然而，在更具挑战性的二值神经网络（BNNs）上，这一任务尚未在学界得到充分探索。本文关注这一更困难的场景：学习权重和激活均为二值的网络，同时没有任何人工标注标签。我们观察到，常用的对比目标在 BNNs 上无法达到有竞争力的精度，因为骨干网络容量和表征能力相对有限。因此，我们没有直接套用导致性能严重下降的现有自监督方法，而是提出一种从实值网络向二值网络在最终预测分布上蒸馏的引导学习新范式，以最小化损失并获得理想精度。我们提出的方法在 BNNs 上比简单的对比学习基线带来 5.5~15% 的绝对提升。我们进一步揭示，在无标签训练时，BNNs 难以恢复与实值模型相似的预测分布。因此，如何校准它们是解决性能退化的关键。我们在大规模 ImageNet 和下游数据集上进行了充分实验。我们的方法相比简单对比学习基线取得实质性改进，甚至可与许多主流监督 BNN 方法相媲美。代码见 https://github.com/szq0214/S2-BNN。
引用
@article{arxiv.2102.08946,
title = {S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration},
author = {Zhiqiang Shen and Zechun Liu and Jie Qin and Lei Huang and Kwang-Ting Cheng and Marios Savvides},
journal= {arXiv preprint arXiv:2102.08946},
year = {2021}
}
备注
CVPR 2021 camera-ready version. Self-supervised binary neural networks using distillation loss (5.5~15% improvement over contrastive baseline). Code is available at https://github.com/szq0214/S2-BNN