Hugging Face · 每日论文· 媒体 / 作者来源·精选
研究：Lean能编译不代表语句忠实，八系统编译率最多虚高29.5个百分点
原文标题
Beyond Compilation: Evaluating Faithful Natural-Language-to-Lean Statement Formalization
AI 导读
论文提出“双评委一致”的忠实性判定：需Lean编译通过，并由两个不同模型家族的LLM评委给出同意；在独立人工抽查中，该判定与人类多数意见的一致率为91.5%。对227条大学水平陈述、8个系统的测试显示，编译通过率与判定通过率相差1.3至29.5个百分点：工具增强智能体编译率为87.2%，但仅57.7%通过；人工复核其被拒案例后，确认29.5个百分点中有23.8个是真实翻译错误。对GPT-6 Astra和Claude Opus 5.5的拒绝案例，仅7%属翻译错误，多数是评委误判。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
给出了可复用的人工验证忠实性准则，并用227条样本和8个系统量化“编译不等于忠实”，可作为形式化与LLM评委方法的参考。
导读由模型辅助整理，非独立核验。完整信息见原文。