机器生成的人类活动层次结构以揭示机器如何思考

基于深度学习的计算机视觉模型已被证明是人类活动识别（HAR）的突破性方法。然而，大多数现有工作致力于通过创建新模型架构、增加模型复杂度或在更大数据集上训练来精炼模型参数以提高预测精度。在此，我们提出一种不同于现有工作的替代思路，通过为相似的人类活动组自动创建更高层次的概括性标签，来提高模型精度并使模型预测与人类理解相对齐。首先，我们论证了构建人类活动识别层次化标注系统的重要性和可行性。然后，我们利用黑盒 HAR 模型的预测来识别不同活动之间的相似性。最后，我们调整层次聚类方法以自动生成活动的层次树并进行实验。在该系统中，同一层上的活动标签将具有设计精度的量级并反映特定数量的活动细节。该策略通过在掩盖某些敏感预测的情况下，在已识别活动的细节程度与用户隐私之间实现权衡；并为在隐私关注场景中使用先前被禁止的侵入式模型提供了可能。由于该层次是从机器视角生成的，上层预测提供了更好的精度，这在训练集中存在对最终预测目标而言过于琐碎的过细标签时尤为有用。此外，对这些树结构的分析可以揭示预测模型中的偏差并指导未来的数据收集策略。