TinySSL：面向亚百万级 MCU 模型的蒸馏自监督预训练
计算机视觉与模式识别
2026-05-12 v1 人工智能
摘要
自监督学习（SSL）已彻底变革大规模模型的表征学习，但在参数不足 50 万的单片机（MCU）模型上仍未得到探索。我们指出此规模下的三个障碍——投影头主导、表征瓶颈与数据增强敏感性——并提出容量感知蒸馏自监督学习（Capacity-Aware Distilled Self-Supervised Learning, CA-DSSL），构建一个无需标签或文本监督的教师引导框架以克服这些障碍。CA-DSSL 结合冻结的 DINO ViT-S/16 教师进行非对称蒸馏、多尺度特征蒸馏以获得空间表征，并采用渐进式数据增强课程。在 MobileNetV2-0.35 backbone（39.6 万参数）上进行 CIFAR-100 预训练，CA-DSSL 达到 62.7% 的线性探针准确率（3 次随机种子均值），超越 SimCLR-Tiny 18 分点，仅用 42.6 万参数（相较 315 万）即可匹配 SEED（61.7%），并达到受监督上限的 94.0%。标准 SSL 方法（BYOL-Tiny、DINO-Tiny）在此规模下完全失效。在 Pascal VOC 检测任务中，CA-DSSL 实现 2.3 的 mAP 增量，净增 3 分点。部署模型仅占 378 KB（INT8），预训练无额外推理开销。初步的 ImageNet-100 实验表明 CA-DSSL 的优势局限于小数据场景；扩至 ImageNet-1K 仍为未来工作。
关键词
引用
@article{arxiv.2605.08241,
title = {TinySSL: Distilled Self-Supervised Pretraining for Sub-Megabyte MCU Models},
author = {Bibin Wilson},
journal= {arXiv preprint arXiv:2605.08241},
year = {2026}
}