事件记录历史事件
Cola2：连续语义压缩与平衡离散生成的自适应分层语言模型
1 篇报道1 个报道来源4 天前更新
先了解这件事
报道摘要
研究团队提出Cola2框架，通过动态文本分段、无辅助损失的负反馈控制压缩率，以及重建与生成监督结合，学习紧凑的潜在表示。在五个下游任务和约2100亿训练 tokens 的实验中验证了核心设计，显示竞争性且未饱和的扩展性。使用3460亿源 tokens 的未收敛检查点，在八项任务上平均达到60.10，超越Llama-3-8B在HellaSwag和StoryCloze的表现，尽管其预训练预算超过后者的43倍。
摘自 Hugging Face · 每日论文
报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- Hugging Face · 每日论文精选Cola2：连续语义压缩与平衡离散生成的自适应分层语言模型
研究团队提出Cola2框架，通过动态文本分段、无辅助损失的负反馈控制压缩率，以及重建与生成监督结合，学习紧凑的潜在表示。在五个下游任务和约2100亿训练 tokens 的实验中验证了核心设计，显示竞争性且未饱和的扩展性。使用3460亿源 tokens 的未收敛检查点，在八项任务上平均达到60.10，超越Llama-3-8B在HellaSwag和StoryCloze的表现，尽管其预训练预算超过后者的43倍。