群组思考：置换检验揭示近分布外
机器学习
2025-10-16 v2 机器学习
摘要
深度神经网络（DNN）有潜力为许多生物医学工作流程提供动力，但在真正具有代表性的独立同分布（IID）数据集上训练它们通常是不可行的。大多数模型依赖于有偏或不完整的数据，这使得它们容易受到与分布内样本非常相似的分布外（OoD）输入的影响。这种近 OoD 情况比标准 OOD 基准更难检测，并可能导致不可靠甚至灾难性的预测。然而，生物医学检测提供了一个独特的机会：它们通常通过生物学或技术重复，对每个样本生成多个相关测量值。利用这一见解，我们引入了同质 OoD（HOoD），一种针对相关数据的 OoD 检测新框架。HOoD 将相关测量组通过训练好的模型进行投影，并使用基于置换的假设检验将它们与已知子群体进行比较。每次检验都会产生一个可解释的 p 值，量化一个组与子群体的匹配程度。通过聚合这些 p 值，HOoD 可靠地识别出 OoD 组。在评估中，HOoD 始终优于基于点和集成的 OoD 检测器，证明了其在现实世界稳健部署方面的前景。
引用
@article{arxiv.2403.14058,
title = {Thinking in Groups: Permutation Tests Reveal Near-Out-of-Distribution},
author = {Yasith Jayawardana and Dineth Jayakody and Sampath Jayarathna and Dushan N. Wadduwage},
journal= {arXiv preprint arXiv:2403.14058},
year = {2025}
}