HorNets：基于路由神经网络学习离散与连续信号
机器学习
2025-02-14 v2 人工智能
摘要
构建适用于学习离散和连续表格数据的神经网络架构是一项具有挑战性的研究任务。当代高维表格数据集通常以相对较小的样本数量为特征，要求数据高效学习。我们提出HorNets（Horn网络），一种在合成数据和真实数据集上实现卓越性能的神经网络架构，这些数据集来自稀缺数据的表格领域。HorNets基于裁剪后的多项式式激活函数，扩展出自定义的离散-连续路由机制，根据输入的基数决定优化神经网络的哪一部分。通过显式建模特征组合空间的某些部分或以类似线性注意力的方式组合整个空间，HorNets能够动态决定针对特定数据piece采用最合适的运行模式，而无需显式监督。该架构是少数可可靠检索逻辑子句（包括带噪声的XNOR）并在14个真实 biomedical 高维数据集上实现最先进分类性能的方法之一。HorNets以宽松许可证发布，附带用于生成离散基准数据的合成生成器。
引用
@article{arxiv.2501.14346,
title = {HorNets: Learning from Discrete and Continuous Signals with Routing Neural Networks},
author = {Boshko Koloski and Nada Lavrač and Blaž Škrlj},
journal= {arXiv preprint arXiv:2501.14346},
year = {2025}
}
备注
Accepted to the ACML conference journal track with the Machine Learning journal. The first and the last authors share an equal contribution