DeepLens：NLP 模型中的交互式分布外数据检测
人机交互
2023-03-06 v1 机器学习
摘要
机器学习（ML）已广泛应用于自然语言处理（NLP）应用。ML 的一个基本假设是训练数据与真实世界数据应遵循相似分布。然而，因真实世界数据的分布偏移，已部署的 ML 模型可能遭遇分布外（OOD）问题。尽管已提出许多从文本语料中检测 OOD 数据的算法，对 ML 开发者仍缺乏交互式工具支持。本工作中，我们提出 DeepLens，一个交互式系统，帮助用户检测并探索海量文本语料中的 OOD 问题。借助文本聚类方法，用户可在 DeepLens 中高效探索不同 OOD 类型。用户也可通过神经元激活分析高亮的显著词深入特定文本。在一项有 24 名参与者的被试内用户研究中，与无交互或可视化支持的 DeepLens 变体相比，使用 DeepLens 的参与者能准确发现近两倍类型的 OOD 问题，且信心提升 22%。
引用
@article{arxiv.2303.01577,
title = {DeepLens: Interactive Out-of-distribution Data Detection in NLP Models},
author = {Da Song and Zhijie Wang and Yuheng Huang and Lei Ma and Tianyi Zhang},
journal= {arXiv preprint arXiv:2303.01577},
year = {2023}
}
备注
The first two authors contributed equally. To appear in the 2023 CHI Conference on Human Factors in Computing Systems (CHI '23), April 23--28, 2023, Hamburg, Germany