Hugging Face · 每日论文· 媒体 / 作者来源·精选
ThinkBit：通过搜索码字、重新校准尺度和推理选择实现两比特量化
原文标题
ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning
AI 导读
研究团队提出ThinkBit框架，一种严格标量两比特量化方法，通过敏感度指标分配各层比特宽度，使用Gumbel-softmax标量量化算法搜索最优码字，并通过知识蒸馏重新校准尺度。在Qwen3-1.7B模型上，该方法在MATH-500测试中达到46.7分，优于EfficientQAT的30.0分；经过量化感知训练后，14B参数模型在3.74GB大小下达到94.8分，接近29.5GB bfloat16模型的97.5分。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
ThinkBit框架在保持模型推理能力的同时，实现了显著的两比特量化压缩，在数学推理任务上接近原始模型性能。
导读由模型辅助整理，非独立核验。完整信息见原文。