Hugging Face Blog· 机构原始发布·· 5 天前精选
VocabX：按成本重建词表，葡萄牙语作文评分器推理成本降77%
原文标题
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
Dharma AI 在基于 Qwen3-4B 的葡萄牙语作文评分器上，不换基座模型、数据与训练配方，仅用 VocabX 重建词表。方法按生成token成本而非出现频率选择子词与整段宏token，并控制输出层从约15.2万行降至约6.5万行。同一批500次请求上，平均回复从350token降至101token，实测推理成本降77.0%，bench分数从0.703升至0.810。论文仍在评审中，数据可能变化。
来源：Hugging Face Blog · huggingface.co
导读与选稿说明
给出可复用的词表级推理优化方法及生产评分器的实测成本与质量结果，实验条件明确。
导读由模型辅助整理，非独立核验。完整信息见原文。