利用 CKA 和实证方法精炼远程光电容积描记架构
计算机视觉与模式识别
2024-05-02 v2
摘要
模型架构精炼是深度学习研究领域（如远程光电容积描记 rPPG）中的一项挑战性任务。架构考量之一——模型的深度——会对最终性能产生显著影响。在层数超出必要而过量配置的 rPPG 模型中，存在冗余，移除这些冗余可以加快训练速度并减少推理时的计算负荷。层数过少则模型可能表现出次优的错误率。我们将中心核对齐（CKA）应用于一系列不同深度的 rPPG 架构，证明较浅的模型无法学到与较深模型相同的表示，并且在达到一定深度后，增加的冗余层并未显著提升功能。一项实证研究证实了利用 CKA 发现的架构缺陷如何影响性能，并展示了 CKA 作为一种诊断工具如何用于精炼 rPPG 架构。
引用
@article{arxiv.2401.04801,
title = {Refining Remote Photoplethysmography Architectures using CKA and Empirical Methods},
author = {Nathan Vance and Patrick Flynn},
journal= {arXiv preprint arXiv:2401.04801},
year = {2024}
}