NoteIt：一个通过多模态视频理解将教学视频转换为可交互笔记的系统
人机交互
2025-08-21 v1 人工智能
摘要
用户经常为教学视频做笔记，以便日后无需重看长视频即可获取关键知识。自动笔记生成工具使用户能够高效地获得信息丰富的笔记。然而，现有研究或现成工具生成的笔记未能全面保留原始视频中传达的信息，也无法满足用户在数字化使用笔记时对多样化呈现格式和交互功能的需求。在这项工作中，我们提出了 NoteIt 系统，该系统使用一个新颖的流程，自动将教学视频转换为可交互的笔记，该流程能忠实地从视频中提取层次化结构和多模态关键信息。通过 NoteIt 的界面，用户可以与系统交互，根据自身偏好进一步定制笔记的内容和呈现格式。我们进行了技术评估和对比用户研究（N=36）。客观指标上的扎实表现和积极的用户反馈证明了该流程的有效性以及 NoteIt 的整体可用性。项目网站：https://zhaorunning.github.io/NoteIt/
引用
@article{arxiv.2508.14395,
title = {NoteIt: A System Converting Instructional Videos to Interactable Notes Through Multimodal Video Understanding},
author = {Running Zhao and Zhihan Jiang and Xinchen Zhang and Chirui Chang and Handi Chen and Weipeng Deng and Luyao Jin and Xiaojuan Qi and Xun Qian and Edith C. H. Ngai},
journal= {arXiv preprint arXiv:2508.14395},
year = {2025}
}
备注
Accepted to UIST 2025. Project website: https://zhaorunning.github.io/NoteIt/