SmartBook：面向情报分析人员的 AI 辅助态势报告生成
计算与语言
2024-05-29 v3
摘要
对新兴事件的及时且全面的理解对有效决策至关重要；自动化态势报告生成可显著减少情报分析人员的时间、精力与成本。在本工作中，我们识别情报分析人员在态势报告生成中对 AI 辅助的做法与偏好，以指导有效、建立信任的界面设计策略，使其契合其思维过程与需求。接下来，我们介绍 SmartBook，一种从海量新闻数据自动生成态势报告的自动化框架，通过自动发现事件相关的战略问题来创建结构化报告。这些报告包含多个假设（主张），经事实证据总结并溯源至来源，以促进深入的态势理解。我们对 SmartBook 的综合评估，涵盖用户研究及带编辑研究的内容评审，揭示了 SmartBook 在生成准确且相关态势报告上的有效性。定性评估表明超过 80% 的问题探查战略信息，超过 90% 的摘要产生战术上有用内容，且持续优于集成网络搜索的大语言模型所生成的摘要。编辑研究显示从生成文本中移除的信息极少（低于 2.5%），表明 SmartBook 为分析人员提供了有价值的态势报告基础。
引用
@article{arxiv.2303.14337,
title = {SmartBook: AI-Assisted Situation Report Generation for Intelligence Analysts},
author = {Revanth Gangi Reddy and Daniel Lee and Yi R. Fung and Khanh Duy Nguyen and Qi Zeng and Manling Li and Ziqi Wang and Clare Voss and Heng Ji},
journal= {arXiv preprint arXiv:2303.14337},
year = {2024}
}
备注
Preprint