利用深度神经网络中学习的拓扑一致性
计算机视觉与模式识别
2021-12-01 v1 机器学习
摘要
近来，已有方法可在给定深度神经网络 (DNN) 底层拓扑结构统计量的条件下，准确预测其在特定任务上的测试性能。然而，由于时间与内存方面的计算代价高昂，将这一新发现的见解进一步用于实际应用十分困难。本工作中，我们定义了一类新的拓扑特征，可准确刻画学习的进展，同时在运行期间计算迅速。此外，我们提出的拓扑特征便于反向传播，意味着其可纳入端到端训练。我们新开发的 DNN 实用拓扑刻画带来了一系列附加应用。我们首先展示可在无测试集且无需高性能计算的情况下预测 DNN 性能。我们还证明我们对 DNN 的拓扑刻画在估计任务相似性上有效。最后，我们展示可通过主动约束 DNN 的拓扑结构来诱导其学习。这为在元学习框架中收缩 DNN 底层结构开辟了新途径。
引用
@article{arxiv.2111.15651,
title = {Leveraging The Topological Consistencies of Learning in Deep Neural Networks},
author = {Stuart Synakowski and Fabian Benitez-Quiroz and Aleix M. Martinez},
journal= {arXiv preprint arXiv:2111.15651},
year = {2021}
}