Hugging Face Blog· 机构原始发布·· 10 天前精选AI 关注评分79
NVIDIA发布印度语言预训练数据集：2.8万亿tokens与开放数据生成管道
原文标题
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA与IIT Madras合作发布Nemotron-pretraining-Indic-v1数据集，包含约2.8万亿tokens，覆盖22种印度语言，并开放GPU加速的数据生成管道。该数据集结合了原生脚本和罗马化文本，通过四阶段翻译、质量评估和修复流程生成，已在Nemotron 3.5 Super VL模型上验证效果，在多个印度语言知识推理基准测试中取得4.98-9.82百分点的提升。
来源：Hugging Face Blog · huggingface.co
导读与选稿说明
原文提供了2.8万亿token的印度语言数据集规模和开放生成管道，读者可据此评估其对多语言AI模型开发的实际价值。
导读由模型辅助整理，非独立核验。完整信息见原文。