数据集接口：利用可控反事实生成诊断模型失败
机器学习
2023-06-21 v2
摘要
分布偏移是机器学习模型失败的主要来源。然而，评估分布偏移下的模型可靠性可能颇具挑战，尤其因为获取展现指定偏移的反事实样本或许困难。本工作中，我们引入数据集接口这一概念：一个给定输入数据集与用户指定偏移、返回该输入分布中展现所需偏移样本的框架。我们研究此类接口的若干自然实现，发现它们常引入混淆偏移使模型评估复杂化。受此驱动，我们提出一种利用 Textual Inversion 使生成适配输入分布的数据集接口实现。随后我们展示将该数据集接口应用于 ImageNet 数据集如何得以研究模型在背景、光照与物体属性等多样分布偏移下的行为。代码见 https://github.com/MadryLab/dataset-interfaces。
引用
@article{arxiv.2302.07865,
title = {Dataset Interfaces: Diagnosing Model Failures Using Controllable Counterfactual Generation},
author = {Joshua Vendrow and Saachi Jain and Logan Engstrom and Aleksander Madry},
journal= {arXiv preprint arXiv:2302.07865},
year = {2023}
}