Hugging Face · 每日论文· 媒体 / 作者来源·精选
N-Gram Memories at Two Bits: 量化大型语言模型中的查找表
原文标题
N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models
AI 导读
研究提出Conditional Program (CP)压缩表示方法，通过短码和局部尺度重建输入请求的行，仅需两比特编码即可将输出KL降低41-63%。在三个训练的n-gram记忆家族中，共享格子在匹配存储预算下优于测试的拟合码本和低秩残差变体，将DeepSeek的表存储从203GB减少到51GB。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
解决了大型语言模型中嵌入表存储瓶颈问题，显著降低存储需求同时保持模型性能，使更多工作负载可驻留在GPU上。
导读由模型辅助整理，非独立核验。完整信息见原文。