Hugging Face · 每日论文· 媒体 / 作者来源·精选
基于能力的逻辑推理评测：GPT与Qwen六款模型在排序任务上未通过能力一致性检验
原文标题
Competence-Based Evaluation of Logical Reasoning in Large Language Models
AI 导读
论文提出能力基评测（CBE）范式，用参数化生成器在固定所需能力的前提下扩展复杂度，并用答案保持不变的表述变体检验模型是否可靠应用同一能力。在小学排序任务上对六款GPT和Qwen模型测试：有界复杂度范围内表现尚好，但强模型在测试问题族上均未通过能力条件；思维链和GRPO能扩展强表现但未解决全部失败，监督LoRA在留出集上迁移很少。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出可随模型扩展的能力一致性评测协议，在六款GPT/Qwen排序任务上给出诊断结果，并报告CoT、GRPO与LoRA的对比效果。
导读由模型辅助整理，非独立核验。完整信息见原文。