Syn-STARTS：合成 START triage 场景生成框架用于可扩展 LLM 评估
人工智能
2025-11-19 v1
摘要
triage 是大规模灾难性事件 (Mass Casualty Incident, MCI) 中的关键决策过程，旨在最大化生存者存活率。虽然 AI 在此类情境中的作用正受到关注，但其开发和性能评估需要足够数量和质量的基准数据集。然而，MCIs 较少发生，现场难以积累足够的记录，这使得收集大规模真实数据用于研究的挑战重重。因此，我们开发了 Syn-STARTS，一个使用大语言模型生成 triage 案例的框架，并验证了其有效性。结果表明，Syn-STARTS 生成的 triage 案例在质量上与由手动精选训练材料生成的 TRIAGE 开放数据集无异。此外，当使用由标准 triage 方法 START 定义的绿色、黄色、红色和黑色四个类别中的大量案例评估 LLM 准确率时，结果表现高度稳定。这强有力地表明，在发展用于严重关键医疗情境的高性能 AI 模型时，合成数据是可行的。
引用
@article{arxiv.2511.14023,
title = {Syn-STARTS: Synthesized START Triage Scenario Generation Framework for Scalable LLM Evaluation},
author = {Chiharu Hagiwara and Naoki Nonaka and Yuhta Hashimoto and Ryu Uchimido and Jun Seita},
journal= {arXiv preprint arXiv:2511.14023},
year = {2025}
}
备注
Introducing an open dataset