噪声设定下相似性的泛化：DIBS 现象
机器学习
2023-07-25 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
本工作揭示了相似性学习中数据密度、噪声与泛化能力之间的相互作用。我们考虑孪生神经网络（SNNs）——即对比学习的基本形式，并探究两类可能影响 SNNs 的噪声：成对标签噪声（PLN）与单标签噪声（SLN）。我们的研究表明，无论训练设定如何，SNNs 均表现出双下降行为，且噪声会进一步加剧该行为。我们证明数据对的密度对泛化至关重要。当 SNNs 在具有相同量 PLN 或 SLN 的稀疏数据集上训练时，它们表现出可比较的泛化性质。然而，在使用稠密数据集时，过参数化区域中 PLN 情形的泛化差于 SLN 情形，导致一种我们称之为密度诱导相似性破裂（DIBS）的现象。在此情形下，PLN 相似性违背变得宏观化，使数据集 corrupted 到无论模型参数数量多少都无法实现完全插值。我们的分析还深入探讨了相似性学习中在线优化与离线泛化之间的对应关系。结果表明，在所有考虑的场景中，该等价性在存在标签噪声时失效。
引用
@article{arxiv.2201.12803,
title = {Generalizing similarity in noisy setups: the DIBS phenomenon},
author = {Nayara Fonseca and Veronica Guidetti},
journal= {arXiv preprint arXiv:2201.12803},
year = {2023}
}
备注
v3: version accepted at ECAI 2023 + Supplementary Material