面向条件激活神经网络的光线追踪
机器学习
2025-02-21 v1 人工智能
摘要
本文我们引入了一种新型的条件激活神经网络架构，将多个混合专家（MoE）层的分层构建与一种逐步收敼至优化专家激活配置的抽样机制相结合。这种方法使网络体系结构能够动态展开，促进特定路径的训练。实验结果表明，这一方法在准确率上与传统基线相当，同时显著减少了推理所需的参数数量。值得注意的是，这种参数减少与输入模式复杂度呈正相关，这一属性从网络的运行动态中自然产生，无需显式的额外惩罚函数。
引用
@article{arxiv.2502.14788,
title = {Ray-Tracing for Conditionally Activated Neural Networks},
author = {Claudio Gallicchio and Giuseppe Nuti},
journal= {arXiv preprint arXiv:2502.14788},
year = {2025}
}
备注
submitted to workshop