T3-Vis：面向NLP中Transformer训练与微调的可视分析框架
计算与语言
2021-09-01 v1 人机交互
摘要
Transformer是NLP中的主导架构，但其训练与微调仍极具挑战。本文介绍一种可视分析框架的设计与实现，旨在通过提供关于模型内在属性与行为的宝贵洞察来辅助研究者完成该过程。我们的框架提供直观概览，允许用户通过交互式可视化探索模型的不同侧面（如隐藏状态、注意力），并内置一套算法来计算模型组件及输入序列不同部分的重要性。案例研究与用户焦点小组的反馈表明该框架有用，并给出了若干改进建议。
引用
@article{arxiv.2108.13587,
title = {T3-Vis: a visual analytic framework for Training and fine-Tuning Transformers in NLP},
author = {Raymond Li and Wen Xiao and Lanjun Wang and Hyeju Jang and Giuseppe Carenini},
journal= {arXiv preprint arXiv:2108.13587},
year = {2021}
}
备注
10 pages, 4 figures, accepted to EMNLP 2021 System Demonstration