选择高层特征：来自分层分类网络的高效专家
机器学习
2024-11-21 v2
摘要
本研究引入了一种新颖的专家生成方法，该方法在不牺牲预测性能的情况下动态降低任务和计算复杂度。该方法基于一种新的分层分类网络拓扑，结合了通用低层特征的顺序处理与高层特征的并行性和嵌套性。这种结构允许采用创新的提取技术：仅选择与任务相关类别的高层特征。在某些情况下，几乎可以跳过所有不需要的高层特征，从而显著降低推理成本，这在资源受限条件下极为有利。我们认为该方法为未来轻量级且适应性强的网络设计铺平了道路，使其适用于从紧凑型边缘设备到大规模云端的广泛应用。在动态推理方面，我们的方法可以实现高达 88.7% 的参数排除和 73.4% 的十亿次乘加（GMAC）运算减少；与对比基线的分析显示，在我们评估的案例中，参数平均减少了 47.6%，GMACs 平均减少了 5.8%。
引用
@article{arxiv.2403.05601,
title = {Select High-Level Features: Efficient Experts from a Hierarchical Classification Network},
author = {André Kelm and Niels Hannemann and Bruno Heberle and Lucas Schmidt and Tim Rolff and Christian Wilms and Ehsan Yaghoubi and Simone Frintrop},
journal= {arXiv preprint arXiv:2403.05601},
year = {2024}
}
备注
This two-page paper was accepted for a poster presentation at the 5th ICLR 2024 Workshop on Practical ML for Limited/Low Resource Settings (PML4LRS)