Hugging Face · 每日论文· 媒体 / 作者来源·精选
Cola2：连续语义压缩与平衡离散生成的自适应分层语言模型
原文标题
Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation
AI 导读
研究团队提出Cola2框架，通过动态文本分段、无辅助损失的负反馈控制压缩率，以及重建与生成监督结合，学习紧凑的潜在表示。在五个下游任务和约2100亿训练 tokens 的实验中验证了核心设计，显示竞争性且未饱和的扩展性。使用3460亿源 tokens 的未收敛检查点，在八项任务上平均达到60.10，超越Llama-3-8B在HellaSwag和StoryCloze的表现，尽管其预训练预算超过后者的43倍。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
Cola2通过连续-离散自适应和压缩控制，在有限训练资源下实现超越大模型的性能，适用于资源受限的语言生成场景。
导读由模型辅助整理，非独立核验。完整信息见原文。