Hugging Face · 每日论文· 媒体 / 作者来源·精选
Fin-SD:金融推理中的局部后验自蒸馏方法
原文标题
How Much Does the Hint Matter? Scope Conditions for Hindsight Self-Distillation in Financial Reasoning
AI 导读
研究提出Fin-SD方法,针对受数据驻留限制的金融机构,通过让学生模型识别自身推理错误步骤并生成提示,在无需外部强教师模型的情况下,将GPT-OSS-20B在金融推理基准上的准确率提升3.03个百分点。该方法与使用完整参考解的传统自蒸馏效果相当,但生成token减少9.5%,且在通用推理和合规审计中无明显性能下降。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
Fin-SD证明了在金融推理任务中,学生模型自写的提示与更强模型生成的提示效果相当,且显著减少了训练token消耗。
导读由模型辅助整理,非独立核验。完整信息见原文。