用于自监督的超球面正则化网络

Bootstrap Your Own Latent（BYOL）引入了一种避免对比范式、进而消除此类方法所关联的负采样计算负担的自监督学习方法。然而，我们经验性地发现，在 BYOL 的自蒸馏范式下产生的图像表示相较于对比方法在表示空间中分布较差。本工作经验性表明，对比损失所强制的特征多样性在用于 BYOL 时有益于图像表示的均匀性，并由此提供更大的类间表示可分性。此外，我们探索并倡导使用正则化方法，特别是网络权重的逐层超球面能量最小化（即熵最大化）以鼓励表示均匀性。我们展示，直接优化均匀性度量连同标准损失，或对 BYOL 架构的网络进行正则化以最小化神经元的超球面能量，都能产生分布更均匀、从而在下游任务中表现更好的表示。