OpenVNA：面向噪声情景下的多模态语言理解系统行为分析框架
多媒体
2024-07-04 v1
摘要
我们提出OpenVNA，一个开源框架，用于分析多模态语言理解系统在噪声情景下的行为。OpenVNA作为面向研究人员的直观工具套件，便于进行便捷的批量级鲁棒性评估和即插即用的数据级演示。它主要包含一个基准Python库，用于评估全局模型鲁棒性，具有高度灵活性和可扩展性，从而支持使用用户自定义噪声类型和模型进行定制。此外，开发了一个基于GUI的界面，用于直观地分析局部模型行为。本文阐述了所创建的库和基于GUI的Web平台的设计原则和用法。目前，OpenVNA已公开访问于\url{https://github.com/thuiar/OpenVNA}，并提供演示视频链接于\url{https://youtu.be/0Z9cW7RGct4}。
引用
@article{arxiv.2407.02773,
title = {OpenVNA: A Framework for Analyzing the Behavior of Multimodal Language Understanding System under Noisy Scenarios},
author = {Ziqi Yuan and Baozheng Zhang and Hua Xu and Zhiyun Liang and Kai Gao},
journal= {arXiv preprint arXiv:2407.02773},
year = {2024}
}
备注
10 pages, 4 figures, to be published in ACL 2024 System Demonstration Track