事件记录历史事件
NVIDIA发布2.8万亿token印度语预训练数据集
1 篇报道1 个报道来源10 天前更新
先了解这件事
报道摘要
NVIDIA与IIT Madras合作发布Nemotron-pretraining-Indic-v1数据集，包含约2.8万亿tokens，覆盖22种印度语言，并开放GPU加速的数据生成管道。该数据集结合了原生脚本和罗马化文本，通过四阶段翻译、质量评估和修复流程生成，已在Nemotron 3.5 Super VL模型上验证效果，在多个印度语言知识推理基准测试中取得4.98-9.82百分点的提升。
摘自 Hugging Face Blog
报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- Hugging Face Blog精选NVIDIA发布印度语言预训练数据集：2.8万亿tokens与开放数据生成管道
NVIDIA与IIT Madras合作发布Nemotron-pretraining-Indic-v1数据集，包含约2.8万亿tokens，覆盖22种印度语言，并开放GPU加速的数据生成管道。该数据集结合了原生脚本和罗马化文本，通过四阶段翻译、质量评估和修复流程生成，已在Nemotron 3.5 Super VL模型上验证效果，在多个印度语言知识推理基准测试中取得4.98-9.82百分点的提升。