探索锐化余弦相似度
计算机视觉与模式识别
2023-07-27 v1 机器学习
摘要
卷积层长期以来一直是图像分类的主要工具。最近，有人提出了一种使用锐化余弦相似度（Sharpened Cosine Similarity, SCS）的卷积替代方案，理论上其可作为更好的特征检测器。尽管多个来源报告了有前景的结果，但迄今为止尚未对这些新层进行全面的神经网络性能实证分析。在我们的工作中，我们探索了 SCS 的参数行为及其作为多种 CNN 架构中卷积直接替代品的潜力，并在 CIFAR-10 上进行了基准测试。我们发现，虽然 SCS 可能不会带来准确率的显著提升，但它可以学习到更具可解释性的表示。我们还发现，在某些情况下，SCS 可能会带来对抗鲁棒性的轻微提升。
引用
@article{arxiv.2307.13855,
title = {Exploring the Sharpened Cosine Similarity},
author = {Skyler Wu and Fred Lu and Edward Raff and James Holt},
journal= {arXiv preprint arXiv:2307.13855},
year = {2023}
}
备注
Accepted to I Can't Believe It's Not Better Workshop (ICBINB) at NeurIPS 2022