用于神经网络中基于超平面优化的随机线性投影损失
机器学习
2024-06-03 v3
摘要
推进损失函数设计对于优化神经网络训练与性能至关重要。本工作提出随机线性投影（RLP）损失，一种通过利用数据内部几何关系提升训练效率的新方法。不同于以最小化逐点误差为目标的传统损失函数，RLP 损失通过最小化连接固定大小特征-预测对子集与特征-标签对子集的超平面集合之间的距离来运作。我们在基准数据集与合成样本上进行的实证评估表明，用 RLP 损失训练的神经网络优于用传统损失函数训练的神经网络，以更少数据样本实现更好性能，并对加性噪声表现出更强鲁棒性。我们提供了支持实证发现的理论分析。
引用
@article{arxiv.2311.12356,
title = {Random Linear Projections Loss for Hyperplane-Based Optimization in Neural Networks},
author = {Shyam Venkatasubramanian and Ahmed Aloui and Vahid Tarokh},
journal= {arXiv preprint arXiv:2311.12356},
year = {2024}
}