利用结构化特征空间分解预测与解释行为数据

由于规模大、稀疏性（每个个体的观测很少）、异质性（个体行为不同）以及类别不平衡（感兴趣结果的观测很少），对人类行为数据建模具有挑战性。另一个挑战是学习一个可解释的模型，该模型不仅能准确预测结果，还能识别与特定行为相关的重要因素。为应对这些挑战，我们描述了一种称为结构化平方和分解（S3D）的行为数据建模统计方法。该算法受决策树启发，选择共同解释结果变异的重要特征，量化特征间的相关性，并将重要特征的子空间划分为更小的、更同质的块，这些块对应于群体中行为相似的子组。这种划分后的子空间使我们能够从统计和视觉上预测和分析结果变量的行为，提供了一种检验各种特征影响并生成可解释预测的媒介。我们将 S3D 应用于从 Stack Exchange、Khan Academy、Twitter、Duolingo 和 Digg 等不同站点收集的大规模数据中学习在线活动模型。我们表明，S3D 创建的简约模型在留出数据上预测结果的能力可与最先进（SOTA）方法相媲美，此外还能产生可解释模型，从而提供对行为的洞察。这对于制定改变行为的策略、设计社会系统以及解释预测（最小化算法偏见的关键一步）具有重要意义。