Hugging Face · 每日论文· 媒体 / 作者来源·精选
预训练数据的词汇印记研究
原文标题
The Lexical Imprint of Pre-training Data
AI 导读
研究通过单词级单字交叉熵(UCE)测量预训练语料与基准目标之间的词汇对齐，发现词汇对齐程度与零样本基准测试准确率高度相关。在文档层面，选择与基准词汇对齐的训练文档可提高准确率；在提示层面，将提示路由到最匹配的领域模型可提升吞吐量。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
研究提供了测量预训练数据词汇对齐的模型无关方法UCE，并验证了其在不同粒度上对模型性能的影响。
导读由模型辅助整理，非独立核验。完整信息见原文。