DIART speaker diarization 流水线推理优化方法

说话人分割回答了"谁何时说话"的问题，这在某些分割场景中需要低延迟。低延迟的说话人分割称为在线说话人分割。DIART 流水线是一个在线说话人分割系统。它由分割模型和嵌入模型组成。嵌入模型在总体延迟中占据最大比重。本文旨在优化 DIART 流水线的推理延迟。应用不同的推理优化方法，如知识蒸馏、剪枝、量化和层融合来优化流水线的嵌入模型。结果发现，知识蒸馏优化了延迟，但对准确性产生了负面影响。量化和层融合也对延迟产生积极影响且不会恶化准确性。然而，剪枝并未改善延迟。