当 AI 模型进行外推时，我们应在多大程度上信任它们？

许多影响人类生活的应用依赖于通常被称为机器学习和人工智能统称下的模型。这些 AI 模型通常是将输入空间映射到输出空间的复杂数学函数。利益相关者希望了解模型决策及其函数行为背后的原理。我们结合用于创建模型的数据来研究这种函数行为。关于这一主题，学者们常假设模型不进行外推，即它们从训练样本中学习并通过插值处理新输入。这一假设值得怀疑：我们表明模型频繁外推；外推的程度各异且可能产生社会影响。我们证明，在相当大一部分数据集中，外推发生的比例超出了人们认为合理的范围。如果我们不知道模型是否在外推，又如何能信任它们？给定一个训练用于向患者推荐临床程序的模型，当模型所考虑的患者年龄大于或小于训练集中所有样本时，我们能否信任该推荐？如果训练集以白人为主，我们在多大程度上可以信任其对黑人和西班牙裔患者的推荐？外推发生在哪个维度（种族、性别或年龄）？即使模型在所有种族的人群上训练，它仍可能在与种族相关的重要方面进行外推。核心问题是，当 AI 模型处理落在其训练集之外的输入时，我们在多大程度上可以信任它们？本文调查了 AI 的若干社会应用，展示了模型如何在未被察觉的情况下外推。我们还考察了受 AI 模型影响的特定个体在外推子空间上的不同情况，并报告如何从这些外推的解释——不是数学上，而是从人文学的角度——加以理解。