Hugging Face · 每日论文· 媒体 / 作者来源·精选
PACE：周期性与通道对齐的四位循环状态编码
原文标题
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
AI 导读
研究团队提出PACE方法，通过周期性而非每token量化循环状态，结合通道对齐共享量化尺度，在4B至35B参数的混合模型上，使用四位和八位混合量化，内存占用约为DAMP的三分之二，性能相当；全四位量化在相同内存下优于Q-Mamba，且周期性量化保持了解码速度优势。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
PACE通过减少量化频率和通道对齐优化，在降低内存占用的同时保持了模型性能，适用于线性注意力语言模型的推理优化。
导读由模型辅助整理，非独立核验。完整信息见原文。