动态训练：基于 20 mW 纳无人机上的设备自监督学习
摘要
由微型机器学习 (TinyML) 驱动的微型化网络-物理系统 (CPS) 正日益增长的可吸引技术，例如纳米无人机。其小型化尺寸 (约 10cm 直径) 确保了从狭窄灾难场景到安全的人机交互等广泛的应用前景。简单化的电子设备使这些 CPS 成本低廉，但严重限制了舱内可用的计算、存储和感知资源。在实际应用中，这些限制因素因领域迁移 (domain shift) 而进一步恶化。这一根本性机器学习问题意味着当模型从训练域迁移到不同部署域时，其感知性能会下降。为应对和缓解这一普遍问题，我们提出了一种 novel on-device 精细调优方法，仅利用纳米无人机舱内可用的有限超低功耗资源。为克服舱内缺乏训练标签的问题，我们还采用基于 ego-motion consistency 的自监督方法。尽管本工作建立在特定的基于视觉的人体姿态估计任务之上，但它适用于许多嵌入式 TinyML 用例。我们的 512 图像 on-device 训练过程完全部署在功耗仅为 19mW 的 ultra-low power GWT GAP9 系统级芯片上，仅需 1MB 存储空间，运行只需 510ms (功耗为 38mW)。最后，我们通过对封闭环 CPS 的现场测试，展示了该 on-device 学习方法相对于非精细调优的 state-of-the-art 基线可实现最高 26% 的水平位置误差降低。在最具挑战性的从未见过的环境中，our on-device 学习程序决定了任务是成功还是失败。
引用
@article{arxiv.2408.03168,
title = {Training on the Fly: On-device Self-supervised Learning aboard Nano-drones within 20 mW},
author = {Elia Cereda and Alessandro Giusti and Daniele Palossi},
journal= {arXiv preprint arXiv:2408.03168},
year = {2024}
}
备注
This paper has been accepted for publication in the IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems. Copyright 2024 IEEE