通过选择性多源知识融合扩展异构学习系统
人工智能
2025-02-10 v2
摘要
将现有学习系统扩展以为更多领域（如新用户）提供高质量定制模型，面临标签数据有限以及数据和设备异构性的挑战。虽然知识蒸馏方法可以克服标签稀缺和设备异构性问题，但它们假设教师模型完全可靠，忽视了数据异构性，这阻碍了现有模型的直接采用。为此，本文提出了一种框架HaT，用于扩展学习系统。首先，该框架以低成本从系统中选择多个高质量模型，然后通过为其预测分配样本级权重来融合其知识。随后，根据知识质量选择性地将融合后的知识注入定制模型。实验在不同任务、模态和设置下表明，HaT在准确率上较最先进的基线方法提高了最高可达16.5%，通信流量节省了最高可达39%。
引用
@article{arxiv.2412.04060,
title = {Expand Heterogeneous Learning Systems with Selective Multi-Source Knowledge Fusion},
author = {Gaole Dai and Huatao Xu and Yifan Yang and Rui Tan and Mo Li},
journal= {arXiv preprint arXiv:2412.04060},
year = {2025}
}
备注
15 pages, 9 figures