跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

端侧 AI

全部主题
主题资料

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

43 篇文章

最新文章

第 21–40 条 · 共 43 条
10月20日周二
  1. Hugging Face Blog

    AnyLanguageModel 1.0:苹果平台本地模型运行一周年

    AI 导读Hugging Face发布AnyLanguageModel 1.0,作为苹果Foundation Models框架的替代方案,支持本地和云端模型切换。新增工具调用、引导生成、图像支持等功能,兼容OpenAI、Anthropic、Google等API,并提供swift-huggingface和swift-xet加速下载。本地模型支持Gemma、Qwen3.8等,适配iPhone和Mac设备。

    AI 选稿理由解决了苹果开发者本地模型部署和多云提供商兼容的瓶颈,提供统一API降低开发复杂度,支持从手机到服务器的跨平台部署。

  2. Hugging Face Blog

    PyTorch 2.15 为 Mac 带来 MPS 性能提升,FP8 支持与 MoE 模型解码加速

    AI 导读PyTorch 2.15 为 Apple Silicon Mac 带来多项 MPS 性能优化:FP8 数据类型支持,MoE 模型解码速度提升 5-6.5 倍,线性层和 softmax 运算加速,视频解码内存占用从 270GB 降至 8GB,新增复杂线性代数运算支持。同时提供更精确的 MPS 可用性检查和 Python 流控制功能。

    AI 选稿理由解决了 Mac 平面运行大型模型的性能瓶颈,使 MoE 模型解码速度提升 5-6.5 倍,视频生成内存占用降低 97%,为 Apple Silicon 用户提供了更高效的 AI 模型训练和推理能力。

  3. Hugging Face Blog

    Hugging Face 推出 TorchTPU:TPU 现已成为 PyTorch 原生支持设备

    AI 导读Hugging Face 发布 TorchTPU,将 TPU 作为 PyTorch 的原生后端,使开发者无需修改代码即可在 TPU 上运行 Transformers、Diffusers 等库。用户只需将模型发送到 'tpu' 设备即可完成部署,支持分布式训练和 torch.compile 优化。TorchTPU 还提供了 Pallas 内核和 Kernels Hub 的 TPU 内核支持,显著提升模型推理速度。

    AI 选稿理由TorchTPU 解决了 PyTorch 用户在 TPU 上部署的复杂性问题,使 TPU 成为与 GPU、CPU 平等的原生设备,大幅简化了 Hugging Face 生态在 TPU 上的使用门槛。

  4. Hugging Face · 每日论文

    Qwen-Audio-3.1-ASR技术报告:语音识别与音频理解能力提升

    AI 导读Qwen-Audio-3.1-ASR在Qwen-Audio-3.0-ASR基础上改进了语音识别能力,扩展了说话人分离转录和通用音频理解功能。该模型家族支持30种语言和16种中国方言,具备历史上下文条件、分层热词定制和原生转录润色等指令控制能力。评估涵盖传统语音识别、多语言方言、说话人分离转录和通用音频理解任务。

    AI 选稿理由新增了说话人分离转录和通用音频理解能力,扩展了从语音识别到音频事件分析的应用范围。

  5. AWS Machine Learning Blog

    AWS 推出全新 SageMaker Studio 登录体验,新用户可快速访问

    AI 导读AWS 宣布新 SageMaker AI 客户现在只需几步即可进入完全配置的 SageMaker Studio 环境,无需设置高级 AWS 账户或输入信用卡信息。新用户可获得 100 美元免费额度,用于模型定制、训练、Studio 笔记本和端点部署,环境创建时间从 2 分钟缩短至约 20 秒。

    AI 选稿理由解决了新用户创建 AWS 账户的复杂流程,使个人开发者和初创团队能在几分钟内从发现模型到部署,大幅降低了 AI 开发门槛。

  6. The Decoder

    Kling AI发布4.0版本,支持立体声音频、多语言口型同步及轻量Flash变体

    AI 导读Kling AI推出视频生成器4.0版本,支持30秒视频片段、10个关键帧图像输入,提示词理解扩展至8000 tokens。与Wan 3.0和Seedance 2.5的对比显示,Kling 4.0表现相当但未领先,这可能表明AI视频模型的快速发展速度开始趋于平缓。

    AI 选稿理由Kling 4.0通过立体声音频和多语言口型同步技术提升了视频生成的真实感,同时提供轻量Flash变体满足不同性能需求,为内容创作者提供更灵活的工具选择。

  7. AWS Machine Learning Blog

    Deepgram使用AWS Trainium优化大规模语音AI处理效率

    AI 导读Deepgram将Nova-3语音识别模型迁移至AWS Trainium2芯片,通过PyTorch重构和内核调优,在批量转录工作负载中实现每美元处理音频量提升11-70%。该优化使Deepgram能够在单台EC2 trn2.3xlarge实例上运行8个模型副本,同时保持与原始模型相同的词错误率(WER)。

    AI 选稿理由解决了语音AI大规模部署中的成本效率瓶颈,使Deepgram能以更低价格提供更高效的语音处理服务,客户在Amazon SageMaker上自托管模型也能受益。

  8. AWS Machine Learning Blog

    AWS推出基于推送的KV传输技术,提升vLLM推理的TTFT和TPOT性能

    AI 导读AWS在vLLM推理引擎中引入基于推送的NIXL连接器,通过将KV传输协调工作移出关键路径,显著降低了首令牌时间(TTFT)和每输出令牌时间(TPOT)。在Amazon EC2 P5en实例测试中,相比传统拉取模式,新技术使Qwen3-32B模型的TTFT提升最高达3倍,TPOT改善最高达30%。

    AI 选稿理由解决了分布式推理中KV传输延迟瓶颈,使预填充和解码阶段可独立扩展,特别适合高请求率场景下的低延迟应用。

  9. AWS Machine Learning Blog

    AWS推出双向KV传输技术,将vLLM多轮代理工作负载TTFT提升最高3.3倍

    AI 导读AWS提出双向KV传输机制,解决多轮对话中上下文重复计算问题。通过在预填充和解码节点间双向传输KV缓存,避免重复计算历史上下文。在Amazon EC2 P5en实例测试中,Qwen3-32B模型TTFT提升1.6倍,zai-org/GLM-5-FP8模型提升3.3倍。该技术已集成到vLLM中,支持GPU和Trainium实例。

    AI 选稿理由解决了多轮代理工作负载中TTFT随对话增长而恶化的瓶颈,显著提升响应速度并减少计算资源消耗。

10月19日周一
  1. Hugging Face Blog

    TorchNeuron:在AWS Trainium上运行Hugging Face模型变得前所未有的简单

    AI 导读Hugging Face宣布推出TorchNeuron,这是一个为AWS Trainium提供的新原生PyTorch后端。从2026年10月20日起,研究人员和开发者可通过pip安装使用。TorchNeuron支持eager模式、torch.compile和原生分布式API,使Transformers、Diffusers等库可直接在Trainium上运行,无需通过Optimum Neuron。文本生成模型支持率从46%提升至89%,训练和推理代码与在其他加速器上使用相同。

    AI 选稿理由TorchNeuron简化了在AWS Trainium上部署Hugging Face模型的流程,大幅提高了模型支持率,降低了开发者使用AI芯片的门槛。

10月18日周日
  1. Hugging Face · 每日论文

    MT Forcing:基于自回归扩散的多轮图像编辑稳定性与一致性研究

    AI 导读多轮图像编辑旨在根据一系列指令修改图像,以实现更有效的交互式视觉内容创作。然而,现有方法在经过几次编辑后往往会出现明显的漂移,表现为视觉质量不稳定和图像内容不一致。为了解决这些问题,研究人员提出了MT Forcing,这是一种基于自回归扩散和统一多模态模型(UMMs)的新型多轮图像编辑训练范式。具体来说,他们提出了单轮分布匹配蒸馏(Single-Turn DMD),通过一个在单轮中对源图像进行累积编辑的教师来监督学生的自滚动,提供视觉质量指导,避免递归错误累积。此外,他们还引入了教师强制指导,在预热期间监督参考轨迹上的历史依赖转换,并在蒸馏期间作为正则化器,鼓励跨轮内容一致性。广泛的实验表明,这种方法显著提高了UMMs的多轮图像编辑能力,实现了更稳定的视觉质量和更强的跨轮一致性。

    AI 选稿理由MT Forcing通过引入新的训练范式和指导策略,解决了多轮图像编辑中的视觉质量不稳定和内容不一致的问题,提高了UMMs的多轮图像编辑能力。

  2. NVIDIA Blog79

    NVIDIA RTX Spark笔记本发布,开启全球庆祝活动

    AI 导读NVIDIA RTX Spark笔记本电脑现已上市,配备Blackwell RTX图形、高达128GB统一内存和完整NVIDIA AI平台,起售价2399美元。来自ASUS、Dell、HP、Lenovo、Microsoft和MSI的笔记本提供强大的本地AI、内容创作和游戏能力,NVIDIA在全球多地包括柏林、北京、伊斯坦布尔、首尔、旧金山和台北举办了庆祝活动。

    AI 选稿理由RTX Spark笔记本将强大AI计算能力融入便携设备,为创作者和开发者提供本地AI解决方案。

10月17日周六
  1. Hugging Face · 每日论文

    Muse Glimmer 30B:面向消费级硬件的端侧Agent模型

    AI 导读Hugging Face每日论文介绍Muse Glimmer,一个带感知编码器的开源300亿参数因果语言模型,面向消费级硬件上的自主Agent任务。模型将多步推理、可靠工具调用与失败恢复整合在单一模型中,本地运行无需云端基础设施;接受文本与图像输入、输出文本,使用超百种语言数据训练,量化至约4-bit精度以支持单GPU高效推理。作者称其在同量级模型(Gemma4-31B、Qwen3.6-27B)的工具使用、多步规划与Agent任务完成基准上达到SOTA,以Apache 2.0许可发布。

    AI 选稿理由发布了一个Apache 2.0开源的30B端侧Agent模型,将多步推理、工具调用与失败恢复整合进单一模型,在消费级单GPU上以约4-bit量化本地运行,并在同量级Agent基准上报告超越Gemma4-31B与Qwen3.6-27B的结果。

10月16日周五
  1. The Batch · AI 研究与应用

    The Batch 第375期:Claude Haiku 5.5 与 Mistral Large 4 发布,本地 AI 硬件与数据配比研究

    AI 导读本期主要围绕三条线索:Anthropic 发布 Claude Haiku 5.5 并回顾 Sonnet 5.5,独立评测显示 Haiku 5.5 智能指数 43 排第 13、速度最快,但成本与延迟随推理等级大幅变化;Mistral 发布 1.05 万亿参数 MoE 模型 Large 4 的 API 预览,在 CyberGym-E2E-AA 上以 82% 居公开模型首位,权重将随后开放;Apple、Nvidia、Microsoft 推出面向本地 AI 的桌面与笔记本,Tom's Hardware 用 AgentPerf-Local 测试表明 Nvidia 硬件快于 Apple 与 AMD。此外,清华、蚂蚁与人大提出 CausalMix,用因果方法将数据配比与数据质量分离来优化微调数据选择。

    AI 选稿理由Mistral Large 4 成为中美国之外最强开源权重候选并在漏洞修复任务领先,Claude Haiku 5.5 刷新速度与价格结构,本地硬件与 CausalMix 分别为端侧部署和数据配比提供了可复用的量化参考。

  2. Hugging Face · 每日论文

    PPMem:用平面基元为视频世界模型构建持久3D记忆

    AI 导读研究者提出 PPMem,将平面基元作为视频世界模型的持久3D记忆,每个基元仅需7个参数。它在视频扩散Transformer上增加平面预测头和Depth Token Fusion模块,使自回归生成的每一段同时输出RGB视频与平面几何,并合并为持久平面记忆,通过渲染深度约束后续生成。该记忆比逐像素点云紧凑约三个数量级(约10万个基元、整场景5MB),且具备度量深度、法线和可导出表面。在DL3DV和RealEstate10K上,PPMem的视频质量优于此前的3D接地世界模型,并能在大视角变化下维持数百帧的连贯性。

    AI 选稿理由用平面基元把视频世界模型的3D记忆压缩到约5MB并保留度量深度与可导出几何,为长视频生成和场景探索提供了更可扩展的记忆表示。

  3. NVIDIA Blog62

    NVIDIA 发布 RTX Spark,面向创作者、玩家与 AI 智能体的 Windows PC

    AI 导读NVIDIA 发布 RTX Spark,定位为一台面向创作者、玩家和 AI 智能体的 Windows PC,并将于 10 月 16 日在旧金山、柏林、台北、北京、伊斯坦布尔、首尔等地举办发布活动。

    AI 选稿理由NVIDIA 官方公布 RTX Spark 的本地 AI 定位与全球发布活动安排,并汇总多家媒体评测反馈。

10月15日周四
  1. NVIDIA Blog77

    NVIDIA扩展Nemotron家族:发布最高效率的Super VL和Bolt模型

    AI 导读NVIDIA发布Nemotron 3.5 Super VL和两个新的边缘模型Bolt 74B-A9B 24GB和Bolt E4B 4GB,覆盖从数据中心到桌面设备的全范围智能体部署。Super VL在多模态智能体任务上提供领先准确率,参数量约为最大推理模型的五分之一,而Bolt系列则针对边缘设备优化。

    AI 选稿理由原文给出了不同规模智能体模型的性能特点和部署场景,读者可以据此选择适合自己需求的模型。

  2. Hugging Face · 每日论文

    TokenEconomizer:针对编码智能体的经验驱动黑盒成本控制

    AI 导读随着前沿编码智能体的发展,AI辅助软件工程的token成本显著增加。TokenEconomizer通过确定哪些操作微技能要注入、哪些持续无关的工具要修剪以及何时干预无效的失败循环,在Claude Code、Codex和GitHub Copilot CLI配合前沿模型的情况下,将平均token成本降低了18.4-30.9%,同时保持了可比的任务成功率。

    AI 选稿理由TokenEconomizer通过自适应黑盒成本控制,有效降低了编码智能体在现实环境中的token成本,提高了token效率。

  3. Hugging Face · 每日论文

    ARC-SORT:自适应鲁棒补偿多目标跟踪技术

    AI 导读ARC-SORT是一种无需训练、实时运行的多目标跟踪算法,专为体育广播场景设计。该算法通过测量自身不确定性来决定行动,使用交互多模型卡尔曼滤波器为每个轨迹提供预测协方差,并将其转化为轨迹搜索区域。在SportsMOT和DanceTrack测试集上,该算法实现了81.82和62.1的HOTA分数,并在RTX 3060 GPU上以约50帧/秒的速度运行。

    AI 选稿理由ARC-SORT解决了体育视频中运动员快速移动和摄像机同时平移变焦带来的跟踪难题,通过自适应搜索区域和身份交换机制显著提高了跟踪精度。