在操纵下，某些AI模型是否更难审计？

审计人员需要稳健的方法来评估网络平台是否符合法律。然而，由于他们几乎无法访问平台使用的算法、实现或训练数据，这个问题比简单的指标估计要困难得多。在最近提出的防操纵审计框架内，我们在本文中研究了在模型表现出大容量的现实环境中进行稳健审计的可行性。我们首先证明了一个约束性结果：如果一个网络平台使用的模型可以拟合任何数据，那么在估计诸如人口统计均等之类的属性时，任何审计策略——无论是主动还是被动——都无法优于随机抽样。为了更好地理解最先进的审计技术在何种条件下可能保持竞争力，我们随后利用Rademacher复杂度将审计的可操纵性与目标模型的容量联系起来。我们在容量递增的流行模型上实证验证了这些结果，从而通过实验证实了实践中常用的大容量模型特别难以进行稳健审计。这些结果细化了审计问题的局限性，并提出了关于模型容量与平台操纵审计尝试能力之间联系的有趣问题。