跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

部署工程

全部主题
主题资料

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

140 篇文章

最新文章

第 21–40 条 · 共 140 条
10月23日周五
  1. AWS Machine Learning Blog

    Rescale使用Strands Agents和AI-DLC构建AI分类代理

    AI 导读Rescale在AWS上使用AI驱动开发生命周期(AI-DLC)框架,在5天内构建并部署了智能测试分类代理,几周内投入生产。该代理自动分类夜间端到端测试失败,生成结构化修复报告,与人工分类准确率从44%提升至68%,减少了20%的生产部署阻塞时间。

    AI 选稿理由Rescale通过AI-DLC框架快速构建并部署了智能测试分类代理,实现了测试失败分类自动化,提高了工程效率。

  2. Hugging Face Blog

    OlmoEarth v1.3: 全球最先进的卫星嵌入模型

    AI 导读Hugging Face发布OlmoEarth v1.3卫星嵌入模型,提供全球10米分辨率、64和128维度的年度预计算嵌入数据,并推出基于浏览器的OlmoEarth嵌入探索工具。该模型在27项评估中超越AlphaEarth Foundations和Tessera v2,128维嵌入在20项测试中得分最高,64维版本在18项测试中领先。模型训练成本较v1.2降低53%,碳排放减少50%,同时保持微调性能。嵌入可用于作物分类、土地覆盖分析、变化检测等任务,无需GPU或高级技术知识。

    AI 选稿理由OlmoEarth v1.3提供全球最先进的卫星嵌入模型,在多项评估中领先,并大幅降低计算成本和碳排放,使卫星数据分析更易获取和应用。

  3. Microsoft Research

    Flint-interactive:一种用于创建交互式数据可视化的语言

    AI 导读微软研究院推出Flint-interactive,这是一种基于Flint的交互式数据可视化语言。它允许用户和AI代理通过点击、过滤、缩放、高亮和跨图表交互来探索数据可视化。该语言使用高级语义事件和更新操作符,简化了复杂交互的构建,并通过编译器处理交互逻辑和视觉依赖,提高了可靠性和开发效率。Flint-interactive支持创建交互式数据故事、仪表板和连接体验,使一个视图中的操作可以更新另一个视图中的图表、文档、小部件或应用程序状态。

    AI 选稿理由Flint-interactive提供了一种高级语言来简化交互式数据可视化的创建,解决了传统方法中布局、渲染和调试的挑战,使AI代理能够生成更可靠、更丰富的交互式图表。

10月22日周四
  1. Latent Space

    Moshi:商品交易员的推荐引擎

    AI 导读前摩根大通能源衍生品交易员Anekha Sokhal创立Moshi,开发了一个实时处理海量市场数据的推荐引擎,帮助交易员快速获取与投资组合相关的关键信息。该系统整合结构化数据、基本面数据、新闻和替代数据,并通过推荐系统连接相关信息点,类似于Bloomberg、Claude和Netflix的结合体。

  2. Hugging Face Blog

    IBM Granite时间序列集成预测模型发布

    AI 导读IBM发布Granite Timeseries Ensemble,集成四种互补架构的时间序列预测模型,提供概率和四分位数预测,无需重新训练或拟合集成权重。在GIFT-Eval基准测试中,集成模型在点预测和概率预测上均优于单个成员模型,为时间序列预测提供了稳健的默认选择。

    AI 选稿理由提供了一种无需重新训练即可结合多种时间序列模型预测的新方法,在97种数据配置上验证了其有效性。

  3. NVIDIA Blog

    NVIDIA Cosmos平台新增训练工具、仿真检查点和数据工厂蓝图

    AI 导读NVIDIA扩展Cosmos平台,新增训练工具、仿真检查点和Cosmos Data Factory蓝图,帮助开发者构建世界模型。平台提供前沿开源模型、数据、训练和优化工具,支持扩展训练数据、适应模型、测试行为和部署前性能优化。Cosmos Data Factory提供五种云原生蓝图,包括自动驾驶数据集生成、图像属性增强等,已被保时捷、ANYbotics等公司应用,可减少90%重复物理测试,缩短85%开发周期。

    AI 选稿理由新增Cosmos Data Factory五种云原生蓝图和具体应用案例,以及Cosmos Framework扩展支持更多开源模型,提供从训练到部署的完整工具链。

  4. NVIDIA Blog

    企业利用NVIDIA DSX突破电力瓶颈

    AI 导读全球企业正基于NVIDIA DSX AI工厂平台规划、模拟和运行电网与AI工厂一体化系统,从变电站到机架。该平台整合了电网、设施和计算系统,解决了电力成为基础设施最大瓶颈的问题,目前美国有超过200吉瓦项目排队等待并网。DSX Sim和SimReady资产可模拟验证发电机、开关设备和冷却系统;DSX Flex同步AI工厂需求与电网条件;DSX MaxLPS和DSX Exchange提升每瓦算力并安全共享信号。GE Vernova、Hitachi Energy、Schneider Electric和Siemens Energy等合作伙伴正扩展DSX应用,Phaidra和Emerald AI已集成DSX优化冷却和电力分配。

    AI 选稿理由DSX平台整合电网与AI工厂系统,解决电力瓶颈问题,多家合作伙伴扩展应用场景,提升能源效率和算力输出。

  5. NVIDIA Blog

    NVIDIA助力欧洲零售业转型:从数字发现到实体运营

    AI 导读欧洲零售商正使用开放模型和物理智能技术,包括Shopify通过后训练模型将推理成本降低90%,Zooplus实现86%搜索准确率,L'Oréal将成分筛选时间从数月缩短至数小时,以及Mirakl处理7000万产品数据。NVIDIA还提供数字孪生技术帮助优化仓库运营和虚拟试衣体验。

    AI 选稿理由展示了NVIDIA技术在欧洲零售业的具体应用成果,包括成本优化、准确率提升和效率改进,适用于零售和消费品行业。

  6. NVIDIA Blog

    欧洲先驱部署NVIDIA Earth-2开放模型助力实际天气与气候预测

    AI 导读NVIDIA在欧洲推出Earth-2开放AI模型家族,包括针对欧洲的StormScope EU区域模型,可每10分钟更新一次云况预测。AXA、Vaisala Xweather、曼彻斯特大学和TotalEnergies等机构正利用这些模型进行飓风风险评估、短期天气预报、空气质量建模和太阳能预测。Earth-2支持开发者结合多种模型满足区域需求,并提供PhysicsNeMo框架进行定制训练。

    AI 选稿理由NVIDIA Earth-2开放模型在欧洲的实际部署案例,展示了AI在气象预测领域的具体应用和定制化能力。

  7. NVIDIA Blog

    NVIDIA开放模型助力欧洲公共部门新项目浪潮

    AI 导读NVIDIA与合作伙伴及欧洲政府合作,将先进模型引入公共部门,提升行政效率并保持数据与基础设施控制权。多个欧洲国家项目采用NVIDIA开放模型,包括波兰医疗影像分析、英国合成数据集、德国数字助手、法国协作工作空间和希腊代理生态系统。NVIDIA还推出Codefest活动,支持将开放模型转化为本地化公共部门解决方案。

    AI 选稿理由新增多个欧洲国家公共部门采用NVIDIA开放模型的具体案例,涵盖医疗、就业、数字助手、协作工作空间和代理生态系统等领域,展示了开放模型在公共部门的应用进展。

  8. TLDR AI · 前沿简报

    TLDR AI 2026-10-22 前沿简报

    AI 导读Anthropic发布Claude Duet主动AI代理,监控应用并自主处理任务;Recursive推出Flint本地编码模型,40亿参数激活仅2.5亿,支持本地高速推理;OpenAI模型将接入Google Cloud,支持企业级代理工作流;Base Labs发布Mammoth-1和Elephant-1决策模型;Anthropic发布Claude Mods可定制人机交互界面;OpenAI与PHP维护者合作修复GPT-5.6发现的安全漏洞;OpenAI开发者上月使用1000万美元token运行AI工作负载;LiteLLM发布v1.107.0版本被植入恶意代码;Monaco推出Agent Matrix平台协调多个AI代理实现收入增长;GUI-Owl 1.5实现2B参数模型在Android手机上操作应用;Anthropic CEO回应AI安全立场。

  9. Hugging Face · 每日论文

    不同任务、不同时间步:扩散语言模型的任务感知时间量化方法

    AI 导读研究揭示扩散语言模型的量化敏感性与任务和时间步相关,不同下游任务在去噪步骤中需要不同精度。基于此,研究提出T2Quant框架,使用无标签敏感信号在固定比特预算下优化激活精度分配。在三个DLM和六个基准测试中,该方法平均准确率提升最高达6.7个百分点。

    AI 选稿理由T2Quant框架首次实现扩散语言模型的任务和时间感知量化,无需标签即可预测量化敏感模式,在相同预算下显著提升准确率。

  10. AWS Machine Learning Blog

    用 AWS PrivateLink 让企业网络私密访问 Amazon Quick

    AI 导读AWS 发布教程,介绍如何让本地数据源与 Amazon Quick 之间的流量不经过公网:用 PrivateLink 的 VPC 端点承载控制台、API 等用户流量,用 Quick 控制台创建的 VPC 连接让 Quick Sight、Flows、Agents、Index 等经 ENI 访问 VPC 内及经 Direct Connect/VPN 连通的本地数据库和内部 API;另需为 S3、Redshift、Athena、Secrets Manager、Glue 建服务端点,并放行 CloudFront 等无端点支持的域名。文章还给出执行角色权限、端点策略、DNS 配置、IP/VPC 端点强制限制以及故障排查方法。

  11. AWS Machine Learning Blog

    AWS开源Deep Insight:多智能体数据分析系统的五项生产实践

    AI 导读AWS解决方案架构团队开源Deep Insight,一个用CSV和自然语言提示自动生成带引用DOCX报告的多智能体系统,由Coordinator、Planner、Supervisor、Coder、Validator、Reporter、Tracker等角色协作。文章总结五项生产挑战及对应方案:用Strands Agents SDK的Graph与Agents-as-Tools模式控制执行流,按角色分配Claude Haiku/Opus/Sonnet并选择性启用提示缓存,用Bedrock AgentCore做托管运行与会话隔离,用Fargate+ALB沙箱执行LLM生成代码,用DynamoDB、SNS、Cognito搭建运维看板。系统提供本地CLI、Web和AgentCore三种部署方式,LG电子基于同架构将分析时间从3天缩至30分钟。

    AI 选稿理由给出可复用的多智能体生产架构细节:分层编排、按角色选模型与选择性提示缓存、Fargate沙箱执行生成代码的具体做法,并附LG电子落地数据(3天缩至30分钟),系统已开源可直接参考。

  12. AWS Machine Learning Blog

    AWS发布自适应智能代理框架AAIF,结合本地SLM与云端Bedrock降低成本

    AI 导读AWS推出自适应智能代理框架(AAIF),使用Strands Agents构建,通过本地小语言模型(SLM)处理常规任务,复杂请求路由至Amazon Bedrock。该框架采用三层架构:智能编排层使用llama3.2:1b模型决策,本地处理层通过Ollama运行设备遥测和图像分析,云端处理层执行复杂模式分析。方案支持边缘设备、全云和混合部署,可降低约80%的API调用成本。

    AI 选稿理由AAIF提供了一种具体的智能模型编排方法,通过本地与云端模型协同降低AI代理成本,适用于需要低延迟和离线能力的IoT监控等场景。

  13. AWS Machine Learning Blog

    AWS Trainium支持torchtitan训练Qwen3模型的三种方法

    AI 导读AWS发布技术文章,介绍如何在AWS Trainium上使用torchtitan训练Qwen3模型。文章提供了三种配置方法:使用Transformers v5作为建模后端、使用torchtitan原生Qwen3实现、以及添加Neuron Kernel Interface混合专家内核。所有方法均可在单台trn2.48xlarge实例上运行,支持预训练和微调,并展示了如何加载和保存Hugging Face检查点。

    AI 选稿理由提供了在AWS Trainium上训练Qwen3模型的具体技术实现方法,包括三种不同配置的代码示例和性能验证,适用于分布式AI训练和推理工作流的开发者。

  14. Hugging Face Blog

    NVIDIA Kumo Relational关系基础模型免训练超越监督学习,41项任务登顶

    AI 导读英伟达发布预训练关系基础模型Kumo Relational,直接在企业关系数据库上做预测:给定预测查询,单次前向传播读取至多1万条历史样本作上下文,输出流失、需求、欺诈等结果,无需任务训练、特征工程或展平表格。在15个数据库的41项任务上,它超过监督式关系深度学习与专家特征的梯度提升树;SAP SALT上MRR超AutoGluon集成8%,微调后领先16%;RelArena-α上精度接近最高分条目但推理快约430倍。模型支持500B+行数据库,代码以Apache 2.0开源、权重按OpenMDW 1.1许可发布,可经structured-data-models库或NVIDIA NIM调用。

    AI 选稿理由首个在常见关系基准上以少样本方式胜过监督学习的关系基础模型,覆盖41项任务与500B+行规模,并给出开源库与NIM两种落地方式。

  15. Hugging Face Blog

    用Isaac Lab 3.0训练Microduck双足机器人:从仿真到真机部署

    AI 导读Pollen Robotics与Hugging Face推出平价开源双足机器人Microduck,本篇教程演示用NVIDIA Isaac Lab和Newton在GPU并行仿真中训练行走策略:61维观测、14维关节输出,16卡配置在崎岖地形下最高约125万步/秒;通过域随机化和 backlash 建模覆盖伺服摩擦与延迟,评估后自动导出ONNX,再经robotctl加载到真机,也可上传Hugging Face Hub或在Microduck Arena比拼。

  16. Hugging Face Blog

    VocabX:按成本重建词表,葡萄牙语作文评分器推理成本降77%

    AI 导读Dharma AI 在基于 Qwen3-4B 的葡萄牙语作文评分器上,不换基座模型、数据与训练配方,仅用 VocabX 重建词表。方法按生成token成本而非出现频率选择子词与整段宏token,并控制输出层从约15.2万行降至约6.5万行。同一批500次请求上,平均回复从350token降至101token,实测推理成本降77.0%,bench分数从0.703升至0.810。论文仍在评审中,数据可能变化。

    AI 选稿理由给出可复用的词表级推理优化方法及生产评分器的实测成本与质量结果,实验条件明确。

  17. Hugging Face Blog

    TorchNeuron 性能分析(一):在 AWS Trainium 上做系统级性能分析

    AI 导读Hugging Face 博客发布 TorchNeuron 系列教程第一篇,讲解如何在 AWS Trainium 上用 torch.profiler 和 Neuron Explorer 分析推理性能。文章以 RMSNorm 为例对比三种实现:朴素 PyTorch 算子约 2,355 µs,torch.rms_norm 约 403 µs,torch.compile 约 376 µs,后两者融合为单内核,设备时间约为朴素实现的六分之一。内容包括 NeuronConfig 配置、按 self_privateuse1_time_total 读表、用依赖链追踪一次算子从框架调度到硬件执行。

    AI 选稿理由提供可复用的 Trainium 推理性能分析方法,并给出 RMSNorm 三种实现的设备耗时对比,适用于在 Neuron 后端定位算子级热点。