DAISY：面向语音表示模型的数据自适应自监督早退出

自监督语音模型在 various 任务中表现出色，但其庞大尺寸限制了在计算资源和内存有限的设备上的应用。在本 work中，我们探索了早退出技术，这是一种通过在网络前向过程早期退出来降低延迟的方法。大多数早退出方法需要为每个任务开发独立的早退出模型，甚至需要对整个预训练模型进行微调。我们引入数据自适应自监督早退出 (DAISY)，该方法基于自监督损失决定何时退出，无需进行多轮训练和微调。DAISY 在 MiniSUPERB 基准测试上匹配 HuBERT 的性能，但推理速度更快。我们对 DAISY adaptivity 的分析表明，该模型在干净数据上（使用更少的层）提前退出，而在噪声数据上（使用更多的层）晚退出，动态调整每个样本推理的计算成本，这取决于该样本的噪声水平。