可解释多样性分析：低成本集成中特征表示的可视化
机器学习
2023-02-14 v1
摘要
多样性是构建鲁棒神经网络集成时的重要考量。若一组训练良好的模型在响应模式和所作预测上具有多样性，则其泛化能力更强。低成本集成方法尤其需要多样性，因为成员常共享网络结构以避免从头训练多个独立模型。传统上通过分析模型输出间的差异来研究多样性，但这难以揭示集成成员间知识表示的差异。本文引入若干可解释性方法，可用于定性分析多样性。我们以两种低成本集成算法（Snapshot Ensembles 与 Prune and Tune Ensembles）为例，比较其子网络间特征表示的多样性。两种方法均以同一预训练父网络为起点，从而得以探究特征表示随时间的演化。这种多样性分析方式为如何度量和促进集成方法中的多样性提供了有价值的见解与新视角。
引用
@article{arxiv.2302.05822,
title = {Interpretable Diversity Analysis: Visualizing Feature Representations In Low-Cost Ensembles},
author = {Tim Whitaker and Darrell Whitley},
journal= {arXiv preprint arXiv:2302.05822},
year = {2023}
}
备注
8 pages, 4 figures, Submitted to IJCNN-23