TIPS：面向 Anytime 神经网络的拓扑重要路径采样
机器学习
2023-06-21 v2
摘要
Anytime 神经网络（AnytimeNNs）是一种有前景的方案，可在各种硬件资源约束下于运行时自适应调整模型复杂度。然而，人工设计的 AnytimeNNs 受设计者先验经验偏置影响，从而提供次优解。为克服现有手工方法的局限，我们首先将 AnytimeNNs 的训练过程建模为离散时间马尔可夫链（DTMC），并借此识别对 AnytimeNNs 训练贡献最大的路径。基于这一新的 DTMC 分析，我们进一步提出 TIPS，一种在各种硬件约束下自动设计 AnytimeNNs 的框架。实验结果表明，TIPS 能提升 AnytimeNNs 的收敛速度与测试精度。与现有 AnytimeNNs 方法相比，TIPS 在多个数据集上精度提升 2%–6.6%，并实现了 SOTA 的精度-FLOPs 权衡。
引用
@article{arxiv.2305.08021,
title = {TIPS: Topologically Important Path Sampling for Anytime Neural Networks},
author = {Guihong Li and Kartikeya Bhardwaj and Yuedong Yang and Radu Marculescu},
journal= {arXiv preprint arXiv:2305.08021},
year = {2023}
}
备注
ICML 2023