跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

部署工程

全部主题
主题资料

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

140 篇文章

最新文章

第 41–60 条 · 共 140 条
10月22日周四
  1. Hugging Face Blog

    TorchNeuron 剖析(一):在 AWS Trainium 上做系统级性能分析

    AI 导读教程从零介绍如何用 torch.profiler 配合 Neuron 后端抓取干净的性能轨迹,通过 key_averages() 表定位占用 Neuron 设备时间的 ATen 算子,并用 Neuron Explorer 追踪一次算子从框架分发、运行时调度到 NeuronCore 硬件执行的全过程。以 RMSNorm 为例对比三种实现:朴素逐算子约 2355 微秒、torch.rms_norm 约 403 微秒、torch.compile 约 376 微秒,后两者融合为单次内核调度,设备时间约为前者的六分之一。

10月21日周三
  1. Hugging Face Blog

    RFD4-Proteina:英伟达与华盛顿大学合作的蛋白设计开源模型上线Hugging Face Spaces

    AI 导读RFD4-Proteina是英伟达与华盛顿大学蛋白设计研究所共同开发的BioNeMo开放模型,把蛋白序列与全原子结构生成合到一个模型里,可在含小分子、核酸、糖链、金属离子等分子上下文中生成设计。在24个蛋白结合靶点的基准上,high thinking设置每GPU小时产出76.40个满足计算筛选标准的结构相异设计,次强方法Proteina-Complexa为13.24。10月21日至11月4日,NVIDIA赞助专用Space免费使用(RTX PRO 6000 GPU),之后ZeroGPU共享版仍免费;输入与输出均经SecureDNA生物安全筛查。

    AI 选稿理由新增了thinking分级设置、24靶点基准上76.40对13.24的设计效率数据,以及10月21日至11月4日专用Space免费窗口和SecureDNA筛查等具体可用信息。

  2. Hugging Face Blog

    SimReady Central 上线 Hugging Face:2000 多个仿真就绪 OpenUSD 资产开放取用

    AI 导读Hugging Face 与 NVIDIA 推出 SimReady Central Library,在 Hugging Face 上免费、无门槛提供 2000 多个仿真就绪(SimReady)OpenUSD 资产,涵盖机械臂、夹爪、仓储货架和冷却设备等。资产附带碰撞几何、质量、摩擦和关节等仿真属性。厂商可按 SimReady 配置验证并提交自有 CAD 模型;开发者可用自然语言搜索资产,结合 GPT-6 Astra 等模型组装机械臂抓取或 AI 工厂布局场景。

    AI 选稿理由新增可自由取用的 2000 多个仿真就绪 OpenUSD 资产库及厂商提交通道,直接降低机器人与 AI 工厂仿真的资产准备成本,适用于物理 AI 训练环境搭建。

  3. NVIDIA Blog

    NVIDIA在欧洲推出本地AI硬件产品线:RTX Spark、DGX Spark和DGX Station

    AI 导读NVIDIA在GTC Berlin展示了完整的本地AI硬件产品线:RTX Spark为Windows PC提供个人代理支持;DGX Spark支持开发者构建和扩展应用;DGX Station为企业团队运行前沿工作负载提供支持。新增功能包括Underdog桌面代理应用、DGX Spark 64GB版本、NVIDIA Sync支持八台DGX Spark集群、DGX Station Windows版本将于12月发布,以及Recursive Flint本地编码模型等。

    AI 选稿理由NVIDIA在欧洲推出完整的本地AI硬件产品线,包括RTX Spark、DGX Spark和DGX Station,并新增多项功能和模型支持,为开发者和企业提供了本地AI解决方案。

  4. NVIDIA Blog

    Google Cloud 与 NVIDIA 公布 Vera Rubin 基础设施全面可用

    AI 导读Google Cloud 宣布基于 Vera Rubin NVL72 的 A5X 实例下月全面可用,并计划扩展至欧洲。单实例整合 Vera CPU、Rubin GPU、ConnectX-9 SuperNIC、Virgo 网络与第四代液冷,面向智能体推理和大规模强化学习。Google Cloud 计划在多地部署最多 96 万颗 Rubin GPU。AlphaGo 作者 David Silver 创办的 Ineffable Intelligence 为首个客户,WPP 在该实例上用 Nemotron 与 OpenShell 展示创意智能体工作流,称原需多节点的任务可在单实例运行。

    AI 选稿理由新增事实是 A5X 实例下月全面可用、最多 96 万颗 Rubin GPU 的部署计划,以及首个客户和 WPP 单实例运行结果;这是云上部署进展,适用范围限于 Google Cloud 客户。

  5. NVIDIA Blog

    英伟达欧洲云伙伴扩容:主权AI、开放模型与OpenShell代理安全架构

    AI 导读英伟达梳理欧洲、北欧、非洲和中亚云伙伴的区域算力扩展:Nscale在GB300 NVL72测试中用DSX MaxLPS在同等供电下多跑37%的GPU、聚合推理吞吐提升近50%;Nebius采用Groq 3 LPX并推出机器人云与三套零售Agent蓝图;Baseten与CodeRabbit用Nemotron 3.5 Lightning把代码审查路由一致率从75.8%提到80.7%、推理成本降50%;Mistral以3800块Grace Blackwell训练Mistral Large 4并计划2027年交付Vera Rubin。OpenShell参考架构由Vera CPU、BlueField-4和Sentry提供代理权限边界,多家云商支持。

    AI 选稿理由汇总了DSX MaxLPS在GB300上的能效数据、CodeRabbit微调后的准确率与成本变化,以及OpenShell参考架构的具体分工与首批支持云商,可作为欧洲区域算力与代理安全部署的进展参考。

  6. NVIDIA Blog

    英伟达面向欧洲工业发布Factory Operations Blueprint及CUDA-X、Omniverse更新

    AI 导读英伟达在GTC Berlin展示欧洲工业客户使用CUDA-X、Omniverse、Cosmos和Nemotron推进工程与制造。Factory Operations Blueprint(FOX)已在GitHub开放早期访问,用于构建工厂管理及视觉检测、根因分析等Agent;西门子将其接入Intelligence Center X,估计可节省20%成本,并在埃尔朗根工厂将检测校准时间缩短40%。cuDSS转为正式可用,imec的S-Litho基准最高提速40倍,英飞凌3D击穿仿真提速12倍。奥迪、舍弗勒、大众透明工厂等用Omniverse与Isaac做数字孪生和机器人仿真。

    AI 选稿理由FOX蓝图开放早期访问并给出西门子20%成本节省、40%校准提速等实际企业结果,同时cuDSS正式可用,为工业Agent与仿真提供可复用起点。

  7. NVIDIA Blog

    NVIDIA cuDSS 正式版发布:把工程与科学仿真的稀疏求解交给 GPU

    AI 导读NVIDIA 宣布 CUDA-X 库 cuDSS 正式可用,用 GPU 加速大型稀疏方程组求解这一仿真中反复出现、常限制设计探索数量的步骤。应用材料在 Ginestra 上称相比纯 CPU 最高加速 10 倍;ZEISS SMT 用 COMSOL 跑 EUV 光刻等离子体基准获 4 倍加速,完整仿真耗时 6 天 14 小时;Cadence、Dassault Systèmes、Siemens、Synopsys 也已集成,Dassault 称 Abaqus 求解器有 8-10 倍加速。cuDSS 支持 C、C++、Python、Fortran 接口,可从工作站扩展至集群。

    AI 选稿理由cuDSS 从库走向正式版并给出多家仿真软件的实际集成与加速数据,可供工程仿真和 GPU 加速开发者参考。

  8. NVIDIA Blog

    英伟达扩展机密计算,新增机密裸金属部署选项

    AI 导读英伟达为机密计算新增“机密裸金属”部署模式,让前沿模型构建者能在第三方专用基础设施上运行敏感训练与推理负载,同时保住模型和数据的控制权。该模式与面向Kubernetes的机密容器、面向虚拟化环境的机密虚拟机并列,并新增传输中数据保护、平台完整性度量与硬件级访问限制。Cohere计划将其接入Model Vault,Google Cloud将支持基于GB300 NVL72的A4X Max实例;Grace Blackwell NVL72、HGX Rubin NVL8与DGX Rubin NVL8也在支持范围内。

    AI 选稿理由新增机密裸金属这一具体部署选项,并明确Cohere、Google Cloud的接入计划及Grace Blackwell/Rubin平台支持范围,为需要硬件隔离的模型训练与推理提供可落地的新基础设施选择。

  9. NVIDIA Blog

    NVIDIA扩展Agent Toolkit,新增Agent Knowledge Foundation等企业Agent组件

    AI 导读NVIDIA扩展开源Agent Toolkit,新增Agent Knowledge Foundation,通过cuDF、cuGraph、cuML、cuOpt、cuVS及Auto-Ontology库把企业数据映射为客户、产品等业务概念;配套发布Nemotron Retriever与Kumo Structured系列开源模型、OpenShell安全运行时和NemoClaw蓝图。Palantir、Databricks、Snowflake、SAP、ServiceNow、Zoom及AWS、IBM、Oracle等已在其上构建或接入。

    AI 选稿理由这是一套面向企业Agent的数据 grounding 开源组件,新增知识基础、检索模型与安全运行时,并列出早期采用者,属于可复用的Agent工程方法。

  10. NVIDIA Blog

    黄仁勋GTC Berlin 2026主题演讲:发布DSX POD、OpenShell Agent安全参考架构与Agile ONE SN人形机器人

    AI 导读黄仁勋在GTC Berlin主题演讲中发布DSX POD——由伙伴在模块化容器内集成验证的Vera Rubin AI工厂参考设计,现场部署可从6个月缩至14天;DSX AI工厂平台称冷却用水最多减少100%、同等算力功耗降低30%。他提出Agent由模型、harness、sandbox、知识、工具五部分组成,并发布基于开源OpenShell运行时的Safe AI Agents参考架构,按次动态调整权限。此外还公布Agent Knowledge Foundation、Agile ONE SN参考人形(31自由度、明年可用),以及Hyperion平台新增沃尔沃、捷豹路虎、奔驰等车企。

    AI 选稿理由一次演讲新增多个可指认发布:DSX POD把现场部署缩到14天、OpenShell Agent安全参考架构、Agile ONE SN人形与Hyperion新增车企,覆盖算力设施、Agent安全与机器人三条线。

  11. Latent Space

    AINews:DeepSeek开源DeepInfer推理框架,MiniMax发布M3.1 Flash模型

    AI 导读DeepSeek开源DeepInfer推理框架,支持英伟达GPU与昇腾NPU,单集群每天处理155万亿Token,谷电时段每GPU小时收入38美元;MiniMax发布M3.1 Flash模型,总参数4280亿,支持100万Token上下文,72小时内处理超100万亿Token,推理速度提升近3倍;Anthropic让Claude生成数学证明验证代码正确性,为123个开源库生成约1.8亿行证明代码;腾讯推出AI互动知识产品'懂了鸭',可将文字、知识点转化为动态课件、3D演示等内容。

    AI 选稿理由DeepSeek开源高性能推理框架DeepInfer,提供具体生产数据和经济效益;MiniMax发布大规模参数模型,展示实际部署能力;Anthropic和腾讯分别推出创新AI应用,提供可复用方法。

  12. Hugging Face · 每日论文

    ALLOT:按输出误差免训练分配视频DiT块稀疏注意力

    AI 导读视频扩散Transformer的3D注意力开销大,块稀疏注意力只算部分注意力块,但现有方法未优化稀疏分配的层与去噪步组合。作者发现不同层-步对最终画面保真度影响差异很大,且最敏感组合跨输入几乎不变。ALLOT把每对视为单元,经单元探测与轨迹校准估计其对最终视频误差的贡献,在实测延迟预算下联合优化密度,只替换分配环节。相同或更短墙钟时间下,在HunyuanVideo上PSNR比现有分配策略高11.8 dB;在Wan2.1、Wan2.2、HunyuanVideo的四种已发布管线九种设置中,均优于或持平默认。

    AI 选稿理由提出免训练稀疏分配方法,在实测延迟约束下按输出误差优化层-步密度,并在五种视频生成管线九种设置中验证优于或持平默认,给出可复用思路与具体PSNR收益。

  13. Hugging Face · 每日论文

    PACE:周期性与通道对齐的四位循环状态编码

    AI 导读研究团队提出PACE方法,通过周期性而非每token量化循环状态,结合通道对齐共享量化尺度,在4B至35B参数的混合模型上,使用四位和八位混合量化,内存占用约为DAMP的三分之二,性能相当;全四位量化在相同内存下优于Q-Mamba,且周期性量化保持了解码速度优势。

    AI 选稿理由PACE通过减少量化频率和通道对齐优化,在降低内存占用的同时保持了模型性能,适用于线性注意力语言模型的推理优化。

  14. Hugging Face · 每日论文

    Harness Scaling:把执行配置多样性变成Agent强化学习的新扩展维度

    AI 导读论文提出Harness Scaling,不再只用固定harness训练Agent,而是构建因子化harness空间,选覆盖均衡的小训练子集,组织跨harness训练。在多基准、不同模型规模和RL算法下,对未见白盒配置的泛化稳定提升;经结构化白盒变化训练的模型也能迁移到未见的外部黑盒harness,优于用单一复杂黑盒harness训练的模型。

    AI 选稿理由论文给出一种可操作的Agent RL训练方法:通过有组织的harness多样性提升跨执行配置泛化,并在多基准、多模型规模和多种RL算法下验证;实验结论限于所测白盒与黑盒harness范围。

  15. Hugging Face · 每日论文

    VX-One:用类型化校准决策头做实时边界流量分诊

    AI 导读VX-One用10万至1000万参数的多头网络输出二值门、含明确未知选项的闭集选择和序数分,CPU上p50约0.7–1.7毫秒。在UNSW-NB15、CIC-IDS2017、EMBER2024上与校准XGBoost、随机森林、MLP、Kitsune对比:VX-One在UNSW-NB15和CIC-IDS2017时间漂移下检测占优(0.711对0.637),多类归因三项基准均由XGBoost胜出;留一攻击族门在9/9个UNSW折上检出未见族,但在CIC侦察族低于随机水平。五日Suricata加VX-One级联中,无载荷重建时签名引擎仅解析约0.1%流量,第二阶段把召回补到至少0.978;所有方法的时间漂移下校准均崩塌(ECE从0.04升至0.40)。

    AI 选稿理由给出类型化校准决策头在边界分诊中的逐项实测,明确了未知攻击检出、跨基准阈值迁移和多阶段级联的失效条件。

  16. Hugging Face · 每日论文

    物理AI中的递归自改进研究

    AI 导读研究探讨了递归自改进(RSI)在物理AI中的应用,分析了如何通过物理经验强化改进机制,并总结了现有研究的评估原则和未来研究方向。研究指出,物理环境中的RSI需要处理部分观察、高成本试验和不可逆后果等挑战,现有研究主要集中在操作领域,支持行为改进、后续学习和程序改进,但尚未完全隔离递归带来的增益。

    AI 选稿理由该研究系统分析了递归自改进在物理AI中的实现路径和挑战,为机器人学习领域提供了评估原则和研究方向。