跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
中文动态

#产品更新.

正在确认更新状态可见页面每分钟只读检查
10月22日周四
  1. NVIDIA Blog

    欧洲金融服务业拥抱开放模型构建专有智能

    AI 导读在GTC Berlin上,多家银行、支付公司和金融数据提供商展示了基于NVIDIA加速计算的量产智能,使用开放权重模型并在自己的基础设施上运行。Revolut正在使用NVIDIA加速计算和PRAGMA基础模型重建其技术堆栈,Starling Bank在Civo的英国云上开发了“Starling Intelligence”,Lloyds Banking Group构建了ATUM交易基础模型,SBS推出了银行主权智能平台。NVIDIA的加速计算平台为这些应用提供动力。

    AI 选稿理由欧洲金融服务业采用NVIDIA加速计算和开放权重模型,构建专有智能,提升金融服务效率。

  2. AWS Machine Learning Blog

    AWS发布自适应智能代理框架AAIF,结合本地SLM与云端Bedrock降低成本

    AI 导读AWS推出自适应智能代理框架(AAIF),使用Strands Agents构建,通过本地小语言模型(SLM)处理常规任务,复杂请求路由至Amazon Bedrock。该框架采用三层架构:智能编排层使用llama3.2:1b模型决策,本地处理层通过Ollama运行设备遥测和图像分析,云端处理层执行复杂模式分析。方案支持边缘设备、全云和混合部署,可降低约80%的API调用成本。

    AI 选稿理由AAIF提供了一种具体的智能模型编排方法,通过本地与云端模型协同降低AI代理成本,适用于需要低延迟和离线能力的IoT监控等场景。

  3. AWS Machine Learning Blog

    美国饥饿组织用 Amazon Quick 让管理层共享数据与 KPI

    AI 导读AWS 发布 U.S. Hunger 案例:该非营利组织将 SQL Server 数据每晚 2 点刷新到 Quick 的 SPICE 引擎,17 名同事获得访问权限。CEO 用 Quick Spaces 共享 KPI 定义、财务文档和审计材料,结合调查数据分析食品安全状况;组织计划 2026 年第四季度构建企业 KPI 框架,并通过 Boomi 把数据汇入 Redshift。

10月21日周三
  1. Latent Space

    Claude Mods:翻转代理工具的内部结构

    AI 导读Anthropic的Claude Mods允许用户自定义Claude Code的行为和外观,通过插件来定制交互界面。这些插件可以响应事件,修改渲染方式,并改变应用程序的运行行为。Claude Mods使得人类和代理能够共同构建面向人类的工具界面,实现了所谓的“注意力接口”。

    AI 选稿理由Claude Mods是自定义交互界面的早期版本,允许用户和代理共同构建面向人类的工具界面,实现了所谓的“注意力接口”,为用户提供了更灵活的交互体验。

  2. NVIDIA Blog

    NVIDIA cuDSS 正式版发布:把工程与科学仿真的稀疏求解交给 GPU

    AI 导读NVIDIA 宣布 CUDA-X 库 cuDSS 正式可用,用 GPU 加速大型稀疏方程组求解这一仿真中反复出现、常限制设计探索数量的步骤。应用材料在 Ginestra 上称相比纯 CPU 最高加速 10 倍;ZEISS SMT 用 COMSOL 跑 EUV 光刻等离子体基准获 4 倍加速,完整仿真耗时 6 天 14 小时;Cadence、Dassault Systèmes、Siemens、Synopsys 也已集成,Dassault 称 Abaqus 求解器有 8-10 倍加速。cuDSS 支持 C、C++、Python、Fortran 接口,可从工作站扩展至集群。

    AI 选稿理由cuDSS 从库走向正式版并给出多家仿真软件的实际集成与加速数据,可供工程仿真和 GPU 加速开发者参考。

  3. NVIDIA Blog

    NVIDIA在欧洲推出本地AI硬件产品线:RTX Spark、DGX Spark和DGX Station

    AI 导读NVIDIA在GTC Berlin展示了完整的本地AI硬件产品线:RTX Spark为Windows PC提供个人代理支持;DGX Spark支持开发者构建和扩展应用;DGX Station为企业团队运行前沿工作负载提供支持。新增功能包括Underdog桌面代理应用、DGX Spark 64GB版本、NVIDIA Sync支持八台DGX Spark集群、DGX Station Windows版本将于12月发布,以及Recursive Flint本地编码模型等。

    AI 选稿理由NVIDIA在欧洲推出完整的本地AI硬件产品线,包括RTX Spark、DGX Spark和DGX Station,并新增多项功能和模型支持,为开发者和企业提供了本地AI解决方案。

  4. Hugging Face Blog

    SimReady Central 上线 Hugging Face:2000 多个仿真就绪 OpenUSD 资产开放取用

    AI 导读Hugging Face 与 NVIDIA 推出 SimReady Central Library,在 Hugging Face 上免费、无门槛提供 2000 多个仿真就绪(SimReady)OpenUSD 资产,涵盖机械臂、夹爪、仓储货架和冷却设备等。资产附带碰撞几何、质量、摩擦和关节等仿真属性。厂商可按 SimReady 配置验证并提交自有 CAD 模型;开发者可用自然语言搜索资产,结合 GPT-6 Astra 等模型组装机械臂抓取或 AI 工厂布局场景。

    AI 选稿理由新增可自由取用的 2000 多个仿真就绪 OpenUSD 资产库及厂商提交通道,直接降低机器人与 AI 工厂仿真的资产准备成本,适用于物理 AI 训练环境搭建。

  5. NVIDIA Blog

    NVIDIA扩展Agent Toolkit,新增Agent Knowledge Foundation等企业Agent组件

    AI 导读NVIDIA扩展开源Agent Toolkit,新增Agent Knowledge Foundation,通过cuDF、cuGraph、cuML、cuOpt、cuVS及Auto-Ontology库把企业数据映射为客户、产品等业务概念;配套发布Nemotron Retriever与Kumo Structured系列开源模型、OpenShell安全运行时和NemoClaw蓝图。Palantir、Databricks、Snowflake、SAP、ServiceNow、Zoom及AWS、IBM、Oracle等已在其上构建或接入。

    AI 选稿理由这是一套面向企业Agent的数据 grounding 开源组件,新增知识基础、检索模型与安全运行时,并列出早期采用者,属于可复用的Agent工程方法。

  6. NVIDIA Blog

    NVIDIA发布多领域开源模型,助力欧洲各行业主权智能发展

    AI 导读NVIDIA扩展开源模型家族,涵盖语言、机器人、生物学和量子计算领域,推出Nemotron 3.5 Super VL和Nemotron 3.5 Bolt等新模型,以及Kumo结构化数据处理模型、Cosmos 3.5世界模型、Alpamayo 2 Edge自动驾驶模型、BioNeMo医疗模型和Ising量子计算模型。这些模型允许组织使用本地数据定制并部署在自有基础设施上。

    AI 选稿理由NVIDIA发布多领域开源模型,提供本地化定制能力,适用于欧洲各行业主权智能需求。

  7. NVIDIA Blog

    黄仁勋GTC Berlin 2026主题演讲:发布DSX POD、OpenShell Agent安全参考架构与Agile ONE SN人形机器人

    AI 导读黄仁勋在GTC Berlin主题演讲中发布DSX POD——由伙伴在模块化容器内集成验证的Vera Rubin AI工厂参考设计,现场部署可从6个月缩至14天;DSX AI工厂平台称冷却用水最多减少100%、同等算力功耗降低30%。他提出Agent由模型、harness、sandbox、知识、工具五部分组成,并发布基于开源OpenShell运行时的Safe AI Agents参考架构,按次动态调整权限。此外还公布Agent Knowledge Foundation、Agile ONE SN参考人形(31自由度、明年可用),以及Hyperion平台新增沃尔沃、捷豹路虎、奔驰等车企。

    AI 选稿理由一次演讲新增多个可指认发布:DSX POD把现场部署缩到14天、OpenShell Agent安全参考架构、Agile ONE SN人形与Hyperion新增车企,覆盖算力设施、Agent安全与机器人三条线。

  8. Latent Space

    AINews:DeepSeek开源DeepInfer推理框架,MiniMax发布M3.1 Flash模型

    AI 导读DeepSeek开源DeepInfer推理框架,支持英伟达GPU与昇腾NPU,单集群每天处理155万亿Token,谷电时段每GPU小时收入38美元;MiniMax发布M3.1 Flash模型,总参数4280亿,支持100万Token上下文,72小时内处理超100万亿Token,推理速度提升近3倍;Anthropic让Claude生成数学证明验证代码正确性,为123个开源库生成约1.8亿行证明代码;腾讯推出AI互动知识产品'懂了鸭',可将文字、知识点转化为动态课件、3D演示等内容。

    AI 选稿理由DeepSeek开源高性能推理框架DeepInfer,提供具体生产数据和经济效益;MiniMax发布大规模参数模型,展示实际部署能力;Anthropic和腾讯分别推出创新AI应用,提供可复用方法。

  9. OpenAI News

    Terminal X 用 GPT-6.1 让评估 Agent 在投资判断上达到 88.6% 的一致性

    AI 导读OpenAI 介绍了 Terminal X 的 Eval Agent:它用包含 54 项标准的评分表来评估投资输出,在采用 GPT-6.1 Sol 后,对基金投资约束的偏离识别量提高了 25%,与资深投资者的判断一致率达到 88.6%。

    AI 选稿理由该客户案例给出了具体评测指标:评估 Agent 在 54 项标准的 rubric 下识别投资偏离更有效,与资深投资人判断一致率为 88.6%;适用范围限于该基金的委托约束评估场景。

  10. AWS Machine Learning Blog

    AWS博客:Smartsheet MCP服务器支持AI代理管理项目工作

    AI 导读Smartsheet发布正式可用的模型上下文协议(MCP)服务器,使AI助手能通过标准化协议读取、写入和管理Smartsheet数据。该服务器支持40多种工具,可更新任务状态、创建行和修改项目结构。Amazon Quick和Kiro已集成此服务器,分别面向业务用户和开发者,实现自然语言交互项目管理,无需切换工具。

  11. AWS Machine Learning Blog

    AWS 展示用 Amazon Quick 与 Bedrock AgentCore 构建对话式供应链智能

    AI 导读AWS 博客介绍了一种将供应链决策对话化的方案:Amazon Bedrock AgentCore 作为智能层,通过 MCP 协议将 ERP、监控、采购、合规等系统封装为可组合工具,Amazon Quick 作为零配置界面层。文中以 TechComp 生产中断为例,演示了从发现工具、查询中断、评估影响(75 万美元风险敞口、23 个订单)、获取缓解建议到自动监控的五步流程,所有操作在单一对话线程中完成,每次变更需人工批准。

  12. AWS Machine Learning Blog

    加拿大用户可通过 Amazon Bedrock 跨区域推理调用 OpenAI GPT-6.1、GPT-6 和 GPT-5.6 模型

    AI 导读AWS 宣布,加拿大中部和西部区域的用户可以通过跨区域推理(CRIS)在 Amazon Bedrock 上访问 OpenAI GPT-6.1 Sol、GPT-6 系列(Astra、Sol、Luna)及 GPT-5.6 系列模型。请求会由源区域路由到美国或全球可用区域处理;这些模型支持 100 万 token 上下文、推理模式、工具调用和提示缓存,并可通过 Responses API、Chat Completions API 和 Converse API 调用。文章还介绍了 IAM 权限、SCP 限制和配额调整方法。

    AI 选稿理由加拿大企业无需自建路由即可在本地区域接入 OpenAI 最新 GPT-6 系列模型,并获得更大的跨区域容量池;这对有北美数据驻留要求的生成式 AI 应用有直接部署价值。

  13. AWS Machine Learning Blog

    AWS发布Agent Registry实现运行时工具发现

    AI 导读AWS推出Agent Registry服务,解决企业系统中大量API导致的工具管理难题。该服务允许代理在运行时通过语义搜索发现相关工具和代理,无需硬编码或重新部署。系统包含注册、发现、实例化和执行四个步骤,支持MCP服务器和A2A代理,已在订单管理场景中验证。

    AI 选稿理由解决了企业系统中大量API导致的工具管理瓶颈,使新工具集成无需代码变更和重新部署,大幅提升开发效率。

  14. Mistral AI

    Mistral 发布 Voxtral 3 多语言语音代理 SDK

    AI 导读Mistral 推出 Voxtral 3 语音代理 SDK,支持 50 多种语言的实时语音处理,提供精准转录、情感化文本转语音和深度工具调用功能,可选择欧盟托管或本地部署。

    AI 选稿理由解决了多语言实时语音交互的精准性和情感表达瓶颈,适用于需要跨语言语音交互的应用场景,提供灵活的部署选项。

  15. Hugging Face Blog

    Hugging Face 推出 TorchTPU:TPU 现已成为 PyTorch 原生支持设备

    AI 导读Hugging Face 发布 TorchTPU,将 TPU 作为 PyTorch 的原生后端,使开发者无需修改代码即可在 TPU 上运行 Transformers、Diffusers 等库。用户只需将模型发送到 'tpu' 设备即可完成部署,支持分布式训练和 torch.compile 优化。TorchTPU 还提供了 Pallas 内核和 Kernels Hub 的 TPU 内核支持,显著提升模型推理速度。

    AI 选稿理由TorchTPU 解决了 PyTorch 用户在 TPU 上部署的复杂性问题,使 TPU 成为与 GPU、CPU 平等的原生设备,大幅简化了 Hugging Face 生态在 TPU 上的使用门槛。

  16. AWS Machine Learning Blog

    Eon基于Amazon Bedrock AgentCore构建多云调查MCP网关

    AI 导读Eon使用Amazon Bedrock AgentCore平台构建多云调查系统,通过单一认证网关替代各工具凭证和本地MCP进程,实现AWS、GCP和Azure三大云工具的统一访问。新工程师配置时间从两天缩短至约两分钟,支持开发人员和自主代理使用相同工具但不同权限。

    AI 选稿理由解决了多云环境下工具集成的凭证管理复杂性和本地MCP服务器维护难题,大幅提升工程师效率并降低运维成本。

  17. AWS Machine Learning Blog

    AWS与Keyfactor合作推出基于X.509 PKI的AI代理身份安全解决方案

    AI 导读AWS与Keyfactor联合发布参考架构,通过X.509公钥基础设施(PKI)为AI代理提供身份验证,解决多代理AI框架中缺乏内置认证标准的问题。该方案使用签名请求信封、用户签名委托断言、作用域令牌和OCSP实时撤销检查四种机制,结合Amazon Bedrock等服务,确保代理访问数据库和API时的身份安全。

    AI 选稿理由解决了AI代理在多代理框架中缺乏身份验证的安全瓶颈,为企业提供了可验证、可撤销的短期凭证解决方案。

10月20日周二
  1. AWS Machine Learning Blog

    AWS与AtScale合作构建基于语义层的代理式AI系统

    AI 导读AWS发布技术文章,介绍如何使用AtScale和Amazon Bedrock AgentCore构建语义层,实现代理式AI系统。该方案采用维度模型而非知识图谱,通过语义建模语言(SML)定义模型,同时支持SQL、XMLA和MCP三种协议。系统可确保业务智能工具与代理获得相同计算结果,并支持基于身份的访问控制。

    AI 选稿理由该方案解决了企业数据分散导致的跨系统查询难题,通过语义层统一数据定义,使AI代理和BI工具能从同一数据源获取一致结果,同时支持细粒度访问控制。

  2. AWS Machine Learning Blog

    AWS与Strategy Mosaic合作构建基于语义层的代理AI系统

    AI 导读AWS与Strategy合作,使用Strategy Mosaic作为语义层,通过Amazon Bedrock AgentCore运行Strands代理,实现跨Amazon Redshift和Aurora的客户360视图。该系统支持MCP协议、JDBC/ODBC、XMLA和REST四种原生协议,无需ETL即可连接多种数据源,并实现端到端的行级和对象级安全。

    AI 选稿理由解决了企业AI代理跨多数据源进行语义推理的难题,支持实时数据联邦和统一业务指标定义,降低了复杂查询的开发难度。

  3. AWS Machine Learning Blog

    AWS与Denodo合作构建面向代理式AI的语义层,整合多云数据源

    AI 导读AWS博客介绍如何使用Denodo平台和Amazon Bedrock AgentCore构建代理式AI应用的语义层,实现对企业多云数据的统一访问。该方案整合了Amazon Aurora、Amazon Redshift和本地PostgreSQL数据库,通过Denodo的VQL语言提供实时数据访问,并通过MCP协议向代理暴露受控视图,确保数据安全与隐私。

    AI 选稿理由解决了企业多云数据源整合与安全访问的瓶颈,使AI代理能够实时查询分散在不同环境中的企业数据,无需数据迁移。

  4. Hugging Face Blog

    ALTK-Evolve:使用GPT-4.1学习记忆在客户服务任务中超越τ²-bench排行榜

    AI 导读IBM研究团队开发的ALTK-Evolve系统通过GPT-4.1学习并应用行为指南,在不更新模型权重的情况下,在客户服务基准测试τ²-bench上取得了67.5%的Pass^4分数,超过了所有零售业参赛者。该系统分析代理的训练任务尝试,将成功和失败提炼成简短的行为规则,添加到系统提示中,无需人工标注或权重更新。

    AI 选稿理由解决了基础模型在客户服务任务中的可靠性瓶颈,使非推理模型GPT-4.1通过学习记忆达到专业水平,适用于需要严格遵循政策的客户服务场景。

  5. Hugging Face Blog

    AnyLanguageModel 1.0:苹果平台本地模型运行一周年

    AI 导读Hugging Face发布AnyLanguageModel 1.0,作为苹果Foundation Models框架的替代方案,支持本地和云端模型切换。新增工具调用、引导生成、图像支持等功能,兼容OpenAI、Anthropic、Google等API,并提供swift-huggingface和swift-xet加速下载。本地模型支持Gemma、Qwen3.8等,适配iPhone和Mac设备。

    AI 选稿理由解决了苹果开发者本地模型部署和多云提供商兼容的瓶颈,提供统一API降低开发复杂度,支持从手机到服务器的跨平台部署。

  6. Hugging Face Blog

    PyTorch 2.15 为 Mac 带来 MPS 性能提升,FP8 支持与 MoE 模型解码加速

    AI 导读PyTorch 2.15 为 Apple Silicon Mac 带来多项 MPS 性能优化:FP8 数据类型支持,MoE 模型解码速度提升 5-6.5 倍,线性层和 softmax 运算加速,视频解码内存占用从 270GB 降至 8GB,新增复杂线性代数运算支持。同时提供更精确的 MPS 可用性检查和 Python 流控制功能。

    AI 选稿理由解决了 Mac 平面运行大型模型的性能瓶颈,使 MoE 模型解码速度提升 5-6.5 倍,视频生成内存占用降低 97%,为 Apple Silicon 用户提供了更高效的 AI 模型训练和推理能力。

  7. AWS Machine Learning Blog

    Amazon Bedrock 为所有 Anthropic Claude 模型提供结构化输出

    AI 导读Amazon Bedrock 已在 bedrock-runtime 和 bedrock-mantle 两个端点支持 Claude 模型的结构化输出,可返回符合 JSON Schema 的响应。它通过约束解码在生成时强制 schema,并提供严格工具参数校验。支持批处理与跨区域推理;首次使用新 schema 需编译,语法缓存 24 小时。

    AI 选稿理由Bedrock 为 Claude 全线模型新增结构化输出与严格工具调用,约束解码保证 JSON 合规,适用于数据抽取和 Agent 工作流。

  8. AWS Machine Learning Blog

    AWS 推出全新 SageMaker Studio 登录体验,新用户可快速访问

    AI 导读AWS 宣布新 SageMaker AI 客户现在只需几步即可进入完全配置的 SageMaker Studio 环境,无需设置高级 AWS 账户或输入信用卡信息。新用户可获得 100 美元免费额度,用于模型定制、训练、Studio 笔记本和端点部署,环境创建时间从 2 分钟缩短至约 20 秒。

    AI 选稿理由解决了新用户创建 AWS 账户的复杂流程,使个人开发者和初创团队能在几分钟内从发现模型到部署,大幅降低了 AI 开发门槛。

  9. OpenAI News

    OpenAI提升低资源编程语言编程能力,新增软件工程、SQLite和COBOL迁移评估

    AI 导读OpenAI正在改进ChatGPT对低资源编程语言的支持,新增了软件工程、SQLite和COBOL迁移的评估能力。这一进展旨在提升ChatGPT在多种编程环境中的实用性和适用性。

    AI 选稿理由解决了低资源编程语言支持不足的瓶颈,开发者可更高效地进行代码迁移和维护,降低技术债务成本。

  10. AWS Machine Learning Blog

    Amazon SageMaker JumpStart:2026年前三季度新增100+模型,覆盖30家提供商

    AI 导读2026年1月至9月,Amazon SageMaker JumpStart平台新增了100多个模型,来自30家不同提供商,包括阿里巴巴(Qwen)、NVIDIA、Mistral、Google、IBM和Cohere等。这些模型涵盖推理、多模态、语音识别、文本生成、代码生成、嵌入和重排序等多种能力,支持一键部署和定制化训练,帮助客户快速构建生产级AI应用。

    AI 选稿理由SageMaker JumpStart通过整合多元化开源模型和优化部署流程,显著降低了AI模型从选择到部署的时间成本,同时提供了针对特定任务的高效模型选择。

  11. Hugging Face Blog

    TorchNeuron:在AWS Trainium上运行Hugging Face模型变得前所未有的简单

    AI 导读Hugging Face宣布推出TorchNeuron,这是一个为AWS Trainium提供的新原生PyTorch后端。从2026年10月20日起,研究人员和开发者可通过pip安装使用。TorchNeuron支持eager模式、torch.compile和原生分布式API,使Transformers、Diffusers等库可直接在Trainium上运行,无需通过Optimum Neuron。文本生成模型支持率从46%提升至89%,训练和推理代码与在其他加速器上使用相同。

    AI 选稿理由TorchNeuron简化了在AWS Trainium上部署Hugging Face模型的流程,大幅提高了模型支持率,降低了开发者使用AI芯片的门槛。

  12. The Decoder

    Kling AI发布4.0版本,支持立体声音频、多语言口型同步及轻量Flash变体

    AI 导读Kling AI推出视频生成器4.0版本,支持30秒视频片段、10个关键帧图像输入,提示词理解扩展至8000 tokens。与Wan 3.0和Seedance 2.5的对比显示,Kling 4.0表现相当但未领先,这可能表明AI视频模型的快速发展速度开始趋于平缓。

    AI 选稿理由Kling 4.0通过立体声音频和多语言口型同步技术提升了视频生成的真实感,同时提供轻量Flash变体满足不同性能需求,为内容创作者提供更灵活的工具选择。

  13. AWS Machine Learning Blog

    TwelveLabs Pegasus 1.5视频语言模型现已登陆Amazon Bedrock

    AI 导读2026年10月9日,AWS宣布TwelveLabs的Pegasus 1.5视频语言模型已在Amazon Bedrock上线。该模型可将长视频转换为带时间戳的结构化元数据,支持基于用户定义条件匹配视频片段,并引入视频分段、多模态提示和即时处理功能,无需预索引即可直接分析Amazon S3中的视频,数据保持在AWS边界内。

    AI 选稿理由Pegasus 1.5解决了视频内容难以搜索和利用的痛点,通过结构化元数据提取和多模态理解,使企业能高效分析长达两小时的视频内容,无需复杂预处理流程。

  14. AWS Machine Learning Blog

    Deepgram使用AWS Trainium优化大规模语音AI处理效率

    AI 导读Deepgram将Nova-3语音识别模型迁移至AWS Trainium2芯片,通过PyTorch重构和内核调优,在批量转录工作负载中实现每美元处理音频量提升11-70%。该优化使Deepgram能够在单台EC2 trn2.3xlarge实例上运行8个模型副本,同时保持与原始模型相同的词错误率(WER)。

    AI 选稿理由解决了语音AI大规模部署中的成本效率瓶颈,使Deepgram能以更低价格提供更高效的语音处理服务,客户在Amazon SageMaker上自托管模型也能受益。

  15. AWS Machine Learning Blog

    AWS推出基于推送的KV传输技术,提升vLLM推理的TTFT和TPOT性能

    AI 导读AWS在vLLM推理引擎中引入基于推送的NIXL连接器,通过将KV传输协调工作移出关键路径,显著降低了首令牌时间(TTFT)和每输出令牌时间(TPOT)。在Amazon EC2 P5en实例测试中,相比传统拉取模式,新技术使Qwen3-32B模型的TTFT提升最高达3倍,TPOT改善最高达30%。

    AI 选稿理由解决了分布式推理中KV传输延迟瓶颈,使预填充和解码阶段可独立扩展,特别适合高请求率场景下的低延迟应用。

  16. AWS Machine Learning Blog

    AWS推出双向KV传输技术,将vLLM多轮代理工作负载TTFT提升最高3.3倍

    AI 导读AWS提出双向KV传输机制,解决多轮对话中上下文重复计算问题。通过在预填充和解码节点间双向传输KV缓存,避免重复计算历史上下文。在Amazon EC2 P5en实例测试中,Qwen3-32B模型TTFT提升1.6倍,zai-org/GLM-5-FP8模型提升3.3倍。该技术已集成到vLLM中,支持GPU和Trainium实例。

    AI 选稿理由解决了多轮代理工作负载中TTFT随对话增长而恶化的瓶颈,显著提升响应速度并减少计算资源消耗。