面向远程多任务推断的压缩特征选择

深度模型在每个内部层都会产生大量特征。然而，在诸如远程特征压缩推断等应用中，确定每个特征对模型执行的任务(s)之重要性，是一个关键问题。在多任务推断场景下，同一特征可能对不同任务具有不同的重要性，这一问题尤为具有挑战性。本文考察了利用特征与模型任务输出输出之间的数据相互信息（MI）作为该特征对该任务重要性的度量方法的有效性。实验涉及基于MI的硬选择和软选择（不等压缩）进行比较，以评估该基于MI的方法与替代方法的优劣。提供多目标分析，以进一步深入见解。