跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

部署工程

全部主题
主题资料

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

140 篇文章

最新文章

第 61–80 条 · 共 140 条
10月21日周三
  1. AWS Machine Learning Blog

    i14用原生PyTorch在AWS Trainium2上训练和部署Laplace 3B线性注意力模型

    AI 导读i14的Laplace 3B模型采用门控线性注意力(GLA)替代softmax注意力,推理时循环状态固定为每条序列29.5 MB,不随上下文增长。AWS团队用TorchNeuron Native将模型移植到Trainium2,保留了GLA设计和Muon优化器。单台trn2.48xlarge训练吞吐约12万token/秒,推理在1280并发序列下达到每秒11544个输出token。文章介绍了模型设计、移植中的三项修改及性能数据。

    AI 选稿理由给出了线性注意力模型在Trainium2上的具体移植方法(GLA核重写、Muon通信优化、反向图展开)及训练/推理吞吐数据,适合关注模型架构与部署工程的读者参考。

  2. Latent Space

    SF Compute构建可编程数据中心,实现GPU算力市场物理交割

    AI 导读SF Compute通过构建云级操作系统,实现GPU算力市场的物理交割,允许用户买卖未来GPU算力并编程控制网络和内存。公司已处理2.45亿美元算力交易,支持InfiniBand网络动态分区,并与数据中心合作提供主权AI算力服务。

    AI 选稿理由新增GPU算力物理交割市场运营细节,包括动态网络分区、算力合约维度和主权AI合作模式。

  3. The Decoder

    DeepSeek 开源其最快最便宜模型 V4.1-Flash 背后的推理框架 DeepInfer

    AI 导读DeepSeek 宣布开源 DeepInfer,这是其 V4.1-Flash 模型所使用的推理框架。该系统基于 vLLM 构建,可在运行 AI 模型时降低算力成本和能耗。文章认为这一发布对 OpenAI、Anthropic 等西方厂商构成进一步的价格压力。

    AI 选稿理由DeepSeek 开源了支撑 V4.1-Flash 的 DeepInfer 推理框架,基于 vLLM、主打降低算力成本与能耗,为可复用的推理工程方案。

  4. Hugging Face Blog

    NVIDIA Cosmos3-H-Dreams:用生成式仿真还原临床胆囊切除术

    AI 导读NVIDIA 发布 Cosmos3-H-Dreams,基于 160 亿参数 Cosmos3-H-Embodied-Nano,利用 CMR Surgical Versius 平台临床胆囊切除视频与机器人运动学训练。模型采用 28 维动作控制,提供四步与两步蒸馏检查点,搭配 FlashDreams 流式推理,可在单张 RTX PRO 6000 GPU 上实时运行,并支持适配自有数据与控制器。

    AI 选稿理由首次展示基于临床胆囊切除录像训练、支持实时运动学控制的生成式手术仿真器,并开放四步与两步检查点及教师微调、Self-Forcing 蒸馏流程,适用于手术机器人仿真研究。

  5. AWS Machine Learning Blog

    AWS博客:Smartsheet MCP服务器支持AI代理管理项目工作

    AI 导读Smartsheet发布正式可用的模型上下文协议(MCP)服务器,使AI助手能通过标准化协议读取、写入和管理Smartsheet数据。该服务器支持40多种工具,可更新任务状态、创建行和修改项目结构。Amazon Quick和Kiro已集成此服务器,分别面向业务用户和开发者,实现自然语言交互项目管理,无需切换工具。

  6. AWS Machine Learning Blog

    AWS 展示用 Amazon Quick 与 Bedrock AgentCore 构建对话式供应链智能

    AI 导读AWS 博客介绍了一种将供应链决策对话化的方案:Amazon Bedrock AgentCore 作为智能层,通过 MCP 协议将 ERP、监控、采购、合规等系统封装为可组合工具,Amazon Quick 作为零配置界面层。文中以 TechComp 生产中断为例,演示了从发现工具、查询中断、评估影响(75 万美元风险敞口、23 个订单)、获取缓解建议到自动监控的五步流程,所有操作在单一对话线程中完成,每次变更需人工批准。

  7. AWS Machine Learning Blog

    在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理:SFT 与 GRPO 的取舍

    AI 导读基座 GPT-OSS-20B 在 50 例多语言推理测试中仅 22% 按目标语言推理(英 100%、法/西/意 0%、德 10%)。作者在 SageMaker HyperPod 上用 LoRA 微调,结论是 SFT 完成主要工作,GRPO 只在有能力提升空间时起作用;另用 Qwen2.5-7B 做对照实验验证该规律。

    AI 选稿理由给出了 SFT 与 GRPO 何时各自动手的可复用判断标准和完整训练栈配置,帮助团队针对非英语用户定制开源推理模型。

  8. AWS Machine Learning Blog

    Octave 在 Amazon Bedrock 上构建安全多租户 AI 基础,嵌入 20 亿份文档

    AI 导读Octave 为 14000 多家受监管行业客户的质量管理平台 Reliance 构建了多租户 AI 基础。团队把所有租户的隔离要求作为前提,用 Amazon Bedrock 上的 Cohere Embed v4 完成 20 亿份文档的嵌入,并把向量存储按租户隔离到 OpenSearch Service;执行层通过 Bedrock AgentCore Gateway 和隔离 microVM 调用 Claude,前后两次经过 Bedrock Guardrails 过滤。该基础已将每个用例的部署时间缩短 50%。

    AI 选稿理由文章完整给出了受监管 SaaS 平台在租户数据严格隔离、不可信内容进入和超大规模嵌入三方面的解决办法,包括逐租户向量库、按用户权限执行 Agent 和输入与输出双重过滤,可作为同类多租户 AI 平台的工程参考。

  9. The Decoder

    Mistral AI 发布 Voxtral 3:一套完整的实时语音 Agent 技术栈

    AI 导读Mistral AI 推出面向实时语音代理的 Voxtral 3 模型系列,整合语音转文字、文字转语音和语音代理 SDK,支持 50 多种语言,并能在一段实时对话中调用外部工具。它可部署在自有基础设施上,也可通过欧盟托管 API 运行,便于控制数据。

    AI 选稿理由它为开发者提供可自托管、覆盖 50 多种语言的端到端实时语音代理组件,并在对话中接入工具调用,降低了构建多语言语音 Agent 的集成成本。

  10. AWS Machine Learning Blog

    加拿大用户可通过 Amazon Bedrock 跨区域推理调用 OpenAI GPT-6.1、GPT-6 和 GPT-5.6 模型

    AI 导读AWS 宣布,加拿大中部和西部区域的用户可以通过跨区域推理(CRIS)在 Amazon Bedrock 上访问 OpenAI GPT-6.1 Sol、GPT-6 系列(Astra、Sol、Luna)及 GPT-5.6 系列模型。请求会由源区域路由到美国或全球可用区域处理;这些模型支持 100 万 token 上下文、推理模式、工具调用和提示缓存,并可通过 Responses API、Chat Completions API 和 Converse API 调用。文章还介绍了 IAM 权限、SCP 限制和配额调整方法。

    AI 选稿理由加拿大企业无需自建路由即可在本地区域接入 OpenAI 最新 GPT-6 系列模型,并获得更大的跨区域容量池;这对有北美数据驻留要求的生成式 AI 应用有直接部署价值。

  11. AWS Machine Learning Blog

    AWS发布Agent Registry实现运行时工具发现

    AI 导读AWS推出Agent Registry服务,解决企业系统中大量API导致的工具管理难题。该服务允许代理在运行时通过语义搜索发现相关工具和代理,无需硬编码或重新部署。系统包含注册、发现、实例化和执行四个步骤,支持MCP服务器和A2A代理,已在订单管理场景中验证。

    AI 选稿理由解决了企业系统中大量API导致的工具管理瓶颈,使新工具集成无需代码变更和重新部署,大幅提升开发效率。

  12. AWS Machine Learning Blog

    AWS与Keyfactor合作推出基于X.509 PKI的AI代理身份安全解决方案

    AI 导读AWS与Keyfactor联合发布参考架构,通过X.509公钥基础设施(PKI)为AI代理提供身份验证,解决多代理AI框架中缺乏内置认证标准的问题。该方案使用签名请求信封、用户签名委托断言、作用域令牌和OCSP实时撤销检查四种机制,结合Amazon Bedrock等服务,确保代理访问数据库和API时的身份安全。

    AI 选稿理由解决了AI代理在多代理框架中缺乏身份验证的安全瓶颈,为企业提供了可验证、可撤销的短期凭证解决方案。

10月20日周二
  1. AWS Machine Learning Blog

    Eon基于Amazon Bedrock AgentCore构建多云调查MCP网关

    AI 导读Eon使用Amazon Bedrock AgentCore平台构建多云调查系统,通过单一认证网关替代各工具凭证和本地MCP进程,实现AWS、GCP和Azure三大云工具的统一访问。新工程师配置时间从两天缩短至约两分钟,支持开发人员和自主代理使用相同工具但不同权限。

    AI 选稿理由解决了多云环境下工具集成的凭证管理复杂性和本地MCP服务器维护难题,大幅提升工程师效率并降低运维成本。

  2. AWS Machine Learning Blog

    AWS与Denodo合作构建面向代理式AI的语义层,整合多云数据源

    AI 导读AWS博客介绍如何使用Denodo平台和Amazon Bedrock AgentCore构建代理式AI应用的语义层,实现对企业多云数据的统一访问。该方案整合了Amazon Aurora、Amazon Redshift和本地PostgreSQL数据库,通过Denodo的VQL语言提供实时数据访问,并通过MCP协议向代理暴露受控视图,确保数据安全与隐私。

    AI 选稿理由解决了企业多云数据源整合与安全访问的瓶颈,使AI代理能够实时查询分散在不同环境中的企业数据,无需数据迁移。

  3. AWS Machine Learning Blog

    AWS与AtScale合作构建基于语义层的代理式AI系统

    AI 导读AWS发布技术文章,介绍如何使用AtScale和Amazon Bedrock AgentCore构建语义层,实现代理式AI系统。该方案采用维度模型而非知识图谱,通过语义建模语言(SML)定义模型,同时支持SQL、XMLA和MCP三种协议。系统可确保业务智能工具与代理获得相同计算结果,并支持基于身份的访问控制。

    AI 选稿理由该方案解决了企业数据分散导致的跨系统查询难题,通过语义层统一数据定义,使AI代理和BI工具能从同一数据源获取一致结果,同时支持细粒度访问控制。

  4. NVIDIA Blog

    NVIDIA Vera CPU 获 Nebius、Nscale 等欧洲云商采用,瞄准 Agent 推理

    AI 导读NVIDIA 称,欧洲 AI 云厂商 Nebius、Nscale 与 Verda 将采用其 Vera CPU 构建本地基础设施,用于 Agent 的取数、执行代码与结果评估等 CPU 密集环节。Bull、Dell、HPE、联想与 Supermicro 将推出基于 Vera 的服务器;ClickHouse、SAP、Elastic 等数据公司称早期测试中分析、ETL 与语义搜索负载表现良好;Atlassian、Nous Research 及 Modal、Vercel 等 Agent 沙盒厂商也计划或已测试采用 Vera。

  5. Latent Space

    AINews(2026年10月16日-19日):DeepSeek V4.1 Flash 1017、MiniMax M3.1 Flash、Mercury 3等模型发布,Anthropic推出公共福利基金

    AI 导读DeepSeek V4.1 Flash 1017成为开源权重价值领导者,在多个基准测试中表现优异;MiniMax M3.1 Flash以1/3成本和3倍速度发布;Mercury 3被称作迄今为止最强大的扩散LLM;Anthropic宣布将约20%股权投入公共福利基金;美国国土安全部要求联邦机构移除DeepSeek产品;Google开源Harness²框架实现智能体自我改进;Claude Opus 5.5在密码学和量子物理领域取得突破。

    AI 选稿理由包含多个模型的具体性能数据、基准测试结果和实际应用案例,以及Anthropic公共福利基金等重大行业动态。

  6. Hugging Face · 每日论文

    分层稀疏注意力 SSA:极端稀疏下缩小与稠密注意力的差距

    AI 导读研究提出分层稀疏注意力 SSA,将确定性检索与分数引导采样结合,对残差 token 按其计入概率校正,从而找回检索集之外的注意力质量,统一涵盖 top-k、top-p 与混合采样。在 RULER、LongBench、LOFT、AIME 及 3B–27B 共五个模型上,SSA 在同等稀疏度下一致优于基线;在 RULER-HARD、Ministral-3-8B、50 倍注意力稀疏下,32K 准确率从 81.8% 升至 84.2%,128K 从 63.8% 升至 69.3%,分别恢复稠密性能的 94% 与 85%。配合优化 CUDA 内核,1M 上下文解码较 FlashInfer 最高提速 2.96 倍,代码已开源。

    AI 选稿理由在多个长上下文基准和五个模型上验证了极端稀疏时缩小与稠密注意力差距的方法,并给出 1M 上下文解码最高 2.96 倍的实测加速,适合关注长上下文推理效率的读者。

  7. Hugging Face · 每日论文

    RoboCasa-Shift:评估视觉语言动作策略在长时程家庭操作中的鲁棒性

    AI 导读研究团队推出RoboCasa-Shift基准,通过控制单因素偏移、匹配清洁-扰动轨迹和模拟器引导的阶段感知诊断,评估GR00T N1.5在四个长时程任务中的鲁棒性。研究发现鲁棒性响应在不同因素和任务间差异显著,且严重程度增加并不总是导致单调退化。同一端到端退化可能对应不同的执行深度配置,表明视觉语言动作鲁棒性应被视为执行的多维属性而非单一端到端性能指标。

    AI 选稿理由提供了一种新的鲁棒性评估方法,揭示了视觉语言动作策略在不同扰动因素下的多维失效模式,适用于机器人操作领域的鲁棒性研究。

  8. Hugging Face · 每日论文

    缓存工程:让Agent直接管理KV缓存,降低成本27.7%

    AI 导读针对Agent长轨迹中KV缓存I/O与存储成为主要成本、裁剪历史又会触发重新预填充的问题,作者提出“缓存工程”:Agent可用drop把选定缓存排除出后续注意力,用repos调整保留键的位置编码,无需改动轨迹前缀。团队将历史依赖视为服务难题并联合设计AKV引擎,以无状态接口内部管理缓存复用、驱逐与恢复。工具响应滚动丢弃策略使平均基准分提高1.7分、平均成本降低27.7%;AKV输出吞吐最高1.2倍,P95请求延迟加速1.5倍;缓存策略递归自改进再降本7.1%。代码已开源。

    AI 选稿理由提出不改轨迹即可控制活跃KV缓存的drop/repos操作,并给出AKV引擎与量化收益,适用于长轨迹Agent推理服务优化。