DARDA：基于域感知的实时动态神经网络适应
计算机视觉与模式识别
2024-09-23 v1 人工智能
机器学习
摘要
测试时适应（TTA）已成为缓解深度神经网络（DNN）在输入受到干扰/噪声影响时性能下降的实用解决方案。现有TTA方法持续适应DNN，导致资源消耗过度且由于缺乏监督导致误差积累，从而引发性能下降。本文提出了域感知实时动态适应（DARDA）以解决上述问题。我们的核心方法是主动学习某些干扰类型的潜在表示，每个干扰类型都与一个针对正确分类受该干扰影响的输入而设计的子网络状态相关联。部署后，DARDA通过（i）估计正在进行的干扰的潜在表示；（ii）选择与正在进行的干扰在潜在空间中最接近的子网络；（iii）适应DNN状态，使其表示匹配正在进行的干扰。如此一来，DARDA更具资源效率，可快速适应由不同干扰引起的新分布，而无需大量样本数据。通过在两款流行的移动边缘设备——树莱派和NVIDIA Jetson Nano——上的实验，我们展示DARDA分别相对于最新方法在能源消耗和平均缓存内存占用上分别降低了1.74倍和2.64倍，同时在CIFAR-10、CIFAR-100和TinyImagenet上性能提升了10.4%、5.7%和4.4%。
引用
@article{arxiv.2409.09753,
title = {DARDA: Domain-Aware Real-Time Dynamic Neural Network Adaptation},
author = {Shahriar Rifat and Jonathan Ashdown and Francesco Restuccia},
journal= {arXiv preprint arXiv:2409.09753},
year = {2024}
}