Hugging Face · 每日论文· 媒体 / 作者来源·精选
DecisionPivot基准：40个决策模型在对比组准确率上差距显著
原文标题
DecisionPivot: A Diagnostic Benchmark for Decision Models in LLM Systems
AI 导读
研究团队发布DecisionPivot诊断基准，含48项任务、40033条数据，覆盖七类决策角色，核心轨道7800条来自13个生成任务族并组织成对比组。评测40个决策模型和14个通用模型后发现，参考轨道上仅差2.6分的两个27B模型，对比组准确率分别为70.1%和44.2%；Perplexity Decider在2400对二选一中概率排序正确率92.3%，但两项都答对仅74.1%。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
新基准将LLM系统内决策模型的评估从单项准确率扩展到对比组、校准与选择性覆盖，并给出多项模型间的具体差异数据，适用于研究LLM路由与护栏评估的读者。
导读由模型辅助整理，非独立核验。完整信息见原文。