面向群鲁棒结构化预测的 STaR-DRO：基于 Tsallis 重加权的有状态方法
摘要
结构化预测要求模型在模糊性、标签偏斜和异构群体难度下生成 ontology 约束标签、grounded evidence 以及有效结构。我们提出了两个部分的框架，用于可控推理和稳健微调。首先，我们引入一种 task-agnostic 提示策略，将 XML-based instruction structure、消歧规则、verification-style reasoning、schema 约束和 self-validation 结合，以解决 format drift、label 消歧、evidence 幻觉和 metadata 条件混淆等问题。其次，我们引入 STaR-DRO，这是一种 stateful robust optimization 方法，用于处理群体异构性。它将 Tsallis mirror descent 与 momentum-smoothed、centered group-loss 信号和 bounded excess-only multipliers 结合，使得只有在中性基准之上的 persistently hard groups 才会被 upweight，从而集中学习资源，同时避免 volatile、稠密的 exponentiated-gradient 重加权以及对 downweight 更 easy groups 的不必要损失。我们在 EPPC Miner 上对组合框架进行评估，该基准用于从患者-医生安全消息中提取层次标签和证据片段。提示工程在四个 Llama 模型上将 zero-shot F1 提升了 +15.44 的平均值。基于监督微调，STaR-DRO 进一步提升了最难的语义决策：在 Llama-3.3-70B-Instruct 上，Code F1 从 79.24 提升至 81.47，Sub-code F1 从 67.78 提升至 69.30，同时保持 Span 性能，并在最难的临床类别中将 group-wise 验证交叉熵降低最高 29.6%。由于这些罕见且困难的群体对应于临床相关的沟通行为，这些提升不仅是统计性的改进：它们直接加强了患者中心护理分析的沟通挖掘可靠性。
引用
@article{arxiv.2604.09737,
title = {STaR-DRO: Stateful Tsallis Reweighting for Group-Robust Structured Prediction},
author = {Samah Fodeh and Ganesh Puthiaraju and Elyas Irankhah and Linhai Ma and Srivani Talakokkul and Afshan Khan and Sreeraj Ramachandran and Jordan Alpert and Sarah Schellhorn},
journal= {arXiv preprint arXiv:2604.09737},
year = {2026}
}