PyTorch 2.15 为 Mac 带来 MPS 性能提升,FP8 支持与 MoE 模型解码加速
PyTorch 2.15 为 Apple Silicon Mac 带来多项 MPS 性能优化:FP8 数据类型支持,MoE 模型解码速度提升 5-6.5 倍,线性层和 softmax 运算加速,视频解码内存占用从 270GB 降至 8GB,新增复杂线性代数运算支持。同时提供更精确的 MPS 可用性检查和 Python 流控制功能。
外观
PyTorch 2.15 为 Apple Silicon Mac 带来多项 MPS 性能优化:FP8 数据类型支持,MoE 模型解码速度提升 5-6.5 倍,线性层和 softmax 运算加速,视频解码内存占用从 270GB 降至 8GB,新增复杂线性代数运算支持。同时提供更精确的 MPS 可用性检查和 Python 流控制功能。
Hugging Face 发布 TorchTPU,将 TPU 作为 PyTorch 的原生后端,使开发者无需修改代码即可在 TPU 上运行 Transformers、Diffusers 等库。用户只需将模型发送到 'tpu' 设备即可完成部署,支持分布式训练和 torch.compile 优化。TorchTPU 还提供了 Pallas 内核和 Kernels Hub 的 TPU 内核支持,显著提升模型推理速度。
Amazon Bedrock 已在 bedrock-runtime 和 bedrock-mantle 两个端点支持 Claude 模型的结构化输出,可返回符合 JSON Schema 的响应。它通过约束解码在生成时强制 schema,并提供严格工具参数校验。支持批处理与跨区域推理;首次使用新 schema 需编译,语法缓存 24 小时。
AWS 宣布新 SageMaker AI 客户现在只需几步即可进入完全配置的 SageMaker Studio 环境,无需设置高级 AWS 账户或输入信用卡信息。新用户可获得 100 美元免费额度,用于模型定制、训练、Studio 笔记本和端点部署,环境创建时间从 2 分钟缩短至约 20 秒。
2026年1月至9月,Amazon SageMaker JumpStart平台新增了100多个模型,来自30家不同提供商,包括阿里巴巴(Qwen)、NVIDIA、Mistral、Google、IBM和Cohere等。这些模型涵盖推理、多模态、语音识别、文本生成、代码生成、嵌入和重排序等多种能力,支持一键部署和定制化训练,帮助客户快速构建生产级AI应用。
德国总理与NVIDIA CEO共同讨论德国AI路线图,重点聚焦工业AI应用。德国政府与NVIDIA签署联合声明,旨在将传统工程制造专长与尖端AI技术结合,推动物理AI模型发展。NVIDIA宣布在德国投资四家初创企业,并支持西门子推进AI驱动的自主工厂建设。
Learn how to move an agent session from the GitHub Copilot app into VS Code without losing the conversation, code changes, or working context. The post How to continue a GitHub Copilot app session in VS Code appeared first on The GitHub Bl…
2026年10月9日,AWS宣布TwelveLabs的Pegasus 1.5视频语言模型已在Amazon Bedrock上线。该模型可将长视频转换为带时间戳的结构化元数据,支持基于用户定义条件匹配视频片段,并引入视频分段、多模态提示和即时处理功能,无需预索引即可直接分析Amazon S3中的视频,数据保持在AWS边界内。
Deepgram将Nova-3语音识别模型迁移至AWS Trainium2芯片,通过PyTorch重构和内核调优,在批量转录工作负载中实现每美元处理音频量提升11-70%。该优化使Deepgram能够在单台EC2 trn2.3xlarge实例上运行8个模型副本,同时保持与原始模型相同的词错误率(WER)。
AWS在vLLM推理引擎中引入基于推送的NIXL连接器,通过将KV传输协调工作移出关键路径,显著降低了首令牌时间(TTFT)和每输出令牌时间(TPOT)。在Amazon EC2 P5en实例测试中,相比传统拉取模式,新技术使Qwen3-32B模型的TTFT提升最高达3倍,TPOT改善最高达30%。
AWS提出双向KV传输机制,解决多轮对话中上下文重复计算问题。通过在预填充和解码节点间双向传输KV缓存,避免重复计算历史上下文。在Amazon EC2 P5en实例测试中,Qwen3-32B模型TTFT提升1.6倍,zai-org/GLM-5-FP8模型提升3.3倍。该技术已集成到vLLM中,支持GPU和Trainium实例。
运动员造型师Sydney Bordonaro分享如何使用Gemini为客户打造造型,并提供了普通人可参考的4套搭配技巧。文章介绍了Gemini在时尚造型领域的实际应用方法。
NVIDIA与欧洲广播联盟(EBU)合作扩展主权媒体框架,整合云服务、开放模型和集成商,确保广播机构数据主权和安全。Adobe Frame.io采用NVIDIA GPU加速技术,使德国UFA公司视频搜索速度提升5倍,处理效率提高4倍,帮助编辑快速查找15年前的视频片段。
OpenAI正在改进ChatGPT对低资源编程语言的支持,新增了软件工程、SQLite和COBOL迁移的评估能力。这一进展旨在提升ChatGPT在多种编程环境中的实用性和适用性。
Hugging Face宣布推出TorchNeuron,这是一个为AWS Trainium提供的新原生PyTorch后端。从2026年10月20日起,研究人员和开发者可通过pip安装使用。TorchNeuron支持eager模式、torch.compile和原生分布式API,使Transformers、Diffusers等库可直接在Trainium上运行,无需通过Optimum Neuron。文本生成模型支持率从46%提升至89%,训练和推理代码与在其他加速器上使用相同。
Anthropic宣布成立Anthropic公共福利基金,初始承诺5%公司股权,并计划在公司价值每增长50%的基础上额外增加2%股权。该基金将用于探索传统非营利组织捐赠或直接向特定人群分配等新方式,以应对AI可能带来的劳动力市场影响等问题。此举与创始人已承诺的80%股权捐赠和员工股权捐赠匹配计划相结合,使Anthropic约20%的股权将用于公共利益。
NVIDIA RTX Spark laptops are now available, bringing NVIDIA Blackwell RTX graphics, up to 128GB of unified memory and the full NVIDIA AI platform to slim, premium Windows PCs. Starting at $2,399, laptops from ASUS, Dell, HP, Lenovo, Micros…
AWS介绍了基于Amazon Bedrock AgentCore构建的九阶段AI智能体评估框架,该框架覆盖从基础定义到持续改进的完整生命周期,帮助确保AI智能体在生产环境中的质量和可靠性。文章详细描述了如何通过多层次评估工具和自动化流程来监控和改进AI智能体的安全性、质量、性能、成本和运营控制等关键指标。
Google Research发布三项研究,将AI智能体与生物实验结合,实现自动化实验室。包括VERID框架用于安全实验控制,适配体研究提高结合率,以及蛋白质设计流程加速八倍。