PACE:周期性与通道对齐的四位循环状态编码
AI 导读研究团队提出PACE方法,通过周期性而非每token量化循环状态,结合通道对齐共享量化尺度,在4B至35B参数的混合模型上,使用四位和八位混合量化,内存占用约为DAMP的三分之二,性能相当;全四位量化在相同内存下优于Q-Mamba,且周期性量化保持了解码速度优势。
AI 选稿理由PACE通过减少量化频率和通道对齐优化,在降低内存占用的同时保持了模型性能,适用于线性注意力语言模型的推理优化。
外观
AI 导读研究团队提出PACE方法,通过周期性而非每token量化循环状态,结合通道对齐共享量化尺度,在4B至35B参数的混合模型上,使用四位和八位混合量化,内存占用约为DAMP的三分之二,性能相当;全四位量化在相同内存下优于Q-Mamba,且周期性量化保持了解码速度优势。
AI 选稿理由PACE通过减少量化频率和通道对齐优化,在降低内存占用的同时保持了模型性能,适用于线性注意力语言模型的推理优化。
AI 导读论文提出Harness Scaling,不再只用固定harness训练Agent,而是构建因子化harness空间,选覆盖均衡的小训练子集,组织跨harness训练。在多基准、不同模型规模和RL算法下,对未见白盒配置的泛化稳定提升;经结构化白盒变化训练的模型也能迁移到未见的外部黑盒harness,优于用单一复杂黑盒harness训练的模型。
AI 选稿理由论文给出一种可操作的Agent RL训练方法:通过有组织的harness多样性提升跨执行配置泛化,并在多基准、多模型规模和多种RL算法下验证;实验结论限于所测白盒与黑盒harness范围。
AI 导读VX-One用10万至1000万参数的多头网络输出二值门、含明确未知选项的闭集选择和序数分,CPU上p50约0.7–1.7毫秒。在UNSW-NB15、CIC-IDS2017、EMBER2024上与校准XGBoost、随机森林、MLP、Kitsune对比:VX-One在UNSW-NB15和CIC-IDS2017时间漂移下检测占优(0.711对0.637),多类归因三项基准均由XGBoost胜出;留一攻击族门在9/9个UNSW折上检出未见族,但在CIC侦察族低于随机水平。五日Suricata加VX-One级联中,无载荷重建时签名引擎仅解析约0.1%流量,第二阶段把召回补到至少0.978;所有方法的时间漂移下校准均崩塌(ECE从0.04升至0.40)。
AI 选稿理由给出类型化校准决策头在边界分诊中的逐项实测,明确了未知攻击检出、跨基准阈值迁移和多阶段级联的失效条件。
AI 导读视频扩散Transformer的3D注意力开销大,块稀疏注意力只算部分注意力块,但现有方法未优化稀疏分配的层与去噪步组合。作者发现不同层-步对最终画面保真度影响差异很大,且最敏感组合跨输入几乎不变。ALLOT把每对视为单元,经单元探测与轨迹校准估计其对最终视频误差的贡献,在实测延迟预算下联合优化密度,只替换分配环节。相同或更短墙钟时间下,在HunyuanVideo上PSNR比现有分配策略高11.8 dB;在Wan2.1、Wan2.2、HunyuanVideo的四种已发布管线九种设置中,均优于或持平默认。
AI 选稿理由提出免训练稀疏分配方法,在实测延迟约束下按输出误差优化层-步密度,并在五种视频生成管线九种设置中验证优于或持平默认,给出可复用思路与具体PSNR收益。
AI 导读研究揭示扩散语言模型的量化敏感性与任务和时间步相关,不同下游任务在去噪步骤中需要不同精度。基于此,研究提出T2Quant框架,使用无标签敏感信号在固定比特预算下优化激活精度分配。在三个DLM和六个基准测试中,该方法平均准确率提升最高达6.7个百分点。
AI 选稿理由T2Quant框架首次实现扩散语言模型的任务和时间感知量化,无需标签即可预测量化敏感模式,在相同预算下显著提升准确率。
AI 导读研究团队开发了解释性管道,发现视觉-语言-动作(VLA)模型将任务指令编码为绝对坐标程序,导致对物体位置变化的脆弱性。通过激活注入实验,模型在99.6%的案例中执行源任务的轨迹,即使面对不同场景。研究还发现不同架构对指令的权重分配差异,以及目标选择与动作生成的分离机制。团队发布了Action Atlas交互平台,包含520+训练SAEs、79个识别概念及UR10e实验结果。
AI 选稿理由提供了视觉-语言-动作模型的内部工作机制解释,揭示了其脆弱性的根本原因,并开源了可复用的分析工具与数据集。
AI 导读Dharma AI 在基于 Qwen3-4B 的葡萄牙语作文评分器上,不换基座模型、数据与训练配方,仅用 VocabX 重建词表。方法按生成token成本而非出现频率选择子词与整段宏token,并控制输出层从约15.2万行降至约6.5万行。同一批500次请求上,平均回复从350token降至101token,实测推理成本降77.0%,bench分数从0.703升至0.810。论文仍在评审中,数据可能变化。
AI 选稿理由给出可复用的词表级推理优化方法及生产评分器的实测成本与质量结果,实验条件明确。
AI 导读Specter将量化、投机解码与专家卸载结合,用轻量量化草稿模型在设备上保留高保真的专家激活模式,从而提前预测并调度后续专家数据的搬移。在单请求推理下,相比当前最优系统,TPOT平均快1.50倍、最高1.88倍,使显存受限的单卡MoE推理更可行。代码已开源。
AI 选稿理由给出量化草稿模型驱动多步专家预取的具体系统设计,并在单请求场景测得TPOT平均1.50倍、最高1.88倍加速,适用于受PCIe卸载瓶颈限制的MoE推理。
AI 导读Matrix-Game 4.0将游戏执行与画面生成分离:轻量游戏引擎维护世界状态并执行交互规则,多模态编码Agent把玩家想法转为游戏代码和动态场景描述,基于自回归视频模型的渲染器再把低多边形代理画面转为高保真视觉。单张RTX5090实现480p、60FPS,按键到显示延迟112ms;单步生成稳态83FPS,峰值显存18.2GiB,RTX5080和RTX5070Ti上分别为67FPS和58FPS。代码、模型权重和低多边形游戏资产已开源。
AI 选稿理由给出可玩游戏世界的执行—渲染分离架构,并在单卡上实测延迟、帧率与显存,同时开源代码、权重和资产,为实时视频生成与游戏交互结合提供可复现基线。
AI 导读研究者提出Lafa,将连续流语言模型扩展到8B参数,采用块内双向异步流加前缀因果注意力的设计,可通过改造预训练自回归模型高效训练,并用前缀缓存和块级并行解码加速推理。在0.5B、7B、8B规模上,均以少于300亿token完成训练,指令跟随、推理和编程质量与AR相当或更好,还能蒸馏成流映射,实现一步或少步生成。利用流训练的多token预测效应做自推测解码,吞吐量达AR的2.54倍。
AI 选稿理由给出8B连续流语言模型的完整训练与推理方案,并在多token预测和自推测解码下报告了2.54倍吞吐的具体结果,属于可复用的生成建模范式进展。
AI 导读研究者提出 RiseHarness 框架,在模型权重不变的前提下迭代改进智能体的 harness。它聚焦同一配置下时成时败的任务,把成功轨迹与运行时监控的内部 harness 跟踪结合分析,再借 Harness Handbook 定位共享机制中的反复问题,检索其他 harness 的实现并适配,经行为检查与重复评估后以有效版本进入下一轮。论文评测了任务成功率与可靠性,并做了消融与未见基准迁移测试。
AI 选稿理由提出不改变权重的 harness 自改进方法,针对长程终端智能体跨次运行的不稳定,给出可复用的失败分析与跨框架机制迁移流程。
AI 导读研究提出结构条件视频渲染器SolarRenderer,基于冻结的33B MiniMax-H3主干加两个轻量LoRA,将结构视频直接送入原生参考通道,仅用纯文本描述,无需类型标识。借助四步LoRA与结构引导分布匹配,渲染比50步采样快12.3倍;块因果变体支持实时生成768p视频。模型在13.6万片段对齐语料上训练,在分布内测试集和16种结构表示的泛化基准上均达SOTA,并泛化到姿态骨架、手绘图、点云等11种未见表示。
AI 选稿理由新增结果:SolarRenderer以冻结MiniMax-H3 33B加两个轻量LoRA实现四步结构条件渲染,速度提升12.3倍并在16种结构表示基准上验证,适用于游戏引擎与编码代理生成视频的研究场景。
AI 导读研究探讨了递归自改进(RSI)在物理AI中的应用,分析了如何通过物理经验强化改进机制,并总结了现有研究的评估原则和未来研究方向。研究指出,物理环境中的RSI需要处理部分观察、高成本试验和不可逆后果等挑战,现有研究主要集中在操作领域,支持行为改进、后续学习和程序改进,但尚未完全隔离递归带来的增益。
AI 选稿理由该研究系统分析了递归自改进在物理AI中的实现路径和挑战,为机器人学习领域提供了评估原则和研究方向。
AI 导读研究团队提出集体经验学习(CEL)范式,通过失败引导的经验检索微调(FERT)方法,让部署中的机器人共享执行经验来改进共同策略。配合容错异步训练系统(FATS),在五个实际操作任务中,策略成功率达93.3-99.2%。96台机器人在手机包装任务中,成功率从79.2%提升至98.3%,无需额外专家纠正动作。
AI 选稿理由解决了机器人舰队规模扩大时人工监督不足的瓶颈,使机器人能通过共享经验自主学习,大幅提升任务成功率并降低对专家干预的依赖。
AI 导读研究提出分层稀疏注意力 SSA,将确定性检索与分数引导采样结合,对残差 token 按其计入概率校正,从而找回检索集之外的注意力质量,统一涵盖 top-k、top-p 与混合采样。在 RULER、LongBench、LOFT、AIME 及 3B–27B 共五个模型上,SSA 在同等稀疏度下一致优于基线;在 RULER-HARD、Ministral-3-8B、50 倍注意力稀疏下,32K 准确率从 81.8% 升至 84.2%,128K 从 63.8% 升至 69.3%,分别恢复稠密性能的 94% 与 85%。配合优化 CUDA 内核,1M 上下文解码较 FlashInfer 最高提速 2.96 倍,代码已开源。
AI 选稿理由在多个长上下文基准和五个模型上验证了极端稀疏时缩小与稠密注意力差距的方法,并给出 1M 上下文解码最高 2.96 倍的实测加速,适合关注长上下文推理效率的读者。
AI 导读研究团队推出RoboCasa-Shift基准,通过控制单因素偏移、匹配清洁-扰动轨迹和模拟器引导的阶段感知诊断,评估GR00T N1.5在四个长时程任务中的鲁棒性。研究发现鲁棒性响应在不同因素和任务间差异显著,且严重程度增加并不总是导致单调退化。同一端到端退化可能对应不同的执行深度配置,表明视觉语言动作鲁棒性应被视为执行的多维属性而非单一端到端性能指标。
AI 选稿理由提供了一种新的鲁棒性评估方法,揭示了视觉语言动作策略在不同扰动因素下的多维失效模式,适用于机器人操作领域的鲁棒性研究。
AI 导读针对Agent长轨迹中KV缓存I/O与存储成为主要成本、裁剪历史又会触发重新预填充的问题,作者提出“缓存工程”:Agent可用drop把选定缓存排除出后续注意力,用repos调整保留键的位置编码,无需改动轨迹前缀。团队将历史依赖视为服务难题并联合设计AKV引擎,以无状态接口内部管理缓存复用、驱逐与恢复。工具响应滚动丢弃策略使平均基准分提高1.7分、平均成本降低27.7%;AKV输出吞吐最高1.2倍,P95请求延迟加速1.5倍;缓存策略递归自改进再降本7.1%。代码已开源。
AI 选稿理由提出不改轨迹即可控制活跃KV缓存的drop/repos操作,并给出AKV引擎与量化收益,适用于长轨迹Agent推理服务优化。
AI 导读论文提出免训练方法SpecKCast:对扩散模型输出做二维离散余弦变换,用轻量卡尔曼滤波按噪声调度导出的频带时间坐标跟踪各系数,仅当预测不确定性超阈值时才评估Transformer。在FLUX.1-dev、Qwen-Image、Wan2.1-14B和HunyuanVideo上,该方法在加速与保真度的权衡上优于现有缓存与预测方法,最高实现6倍加速,额外内存不足0.05 GiB。
AI 选稿理由提出免训练的频域卡尔曼预测方法,在四个图像/视频扩散模型上以不足0.05 GiB额外内存实现最高6倍加速,优于现有特征缓存与外推方法。
AI 导读论文指出同一四样本查询在GPU负载升高时能耗可增至4.1倍,因此提出ATEST,把追加样本的预期收益与当前GPU成本一起纳入停止判断。默认的Online模式无需离线校准,在线学习每步能耗;在Phi-3-mini与A100的四个数据集上均未超能耗预算,GSM8K高负载下准确率60.0%且无转交,对比Calibrated的44.0%。
AI 选稿理由给出了按实时GPU能耗动态停止采样的方法与受控负载下的量化结果,实验限于Phi-3-mini、Qwen2.5-3B和两款英伟达GPU。
AI 导读评估软件代理在完整基准上的成本高昂。小任务子集可以保留代理排名,但会得到不准确的成绩。历史响应提供了有用的结构,但具有相同源响应的任务对于新目标代理可能会有不同的结果。本文介绍了分层分数后验恢复(HSPR),它结合了源拟合响应因素和不确定的群体成功率。观察到的目标结果更新了目标潜在状态和群体率的后验;后验引导的获取选择后续任务。其基于分数的标准等于预期的一步减少全分数后验方差。观察到的成功和未查询任务的先验预测计数产生了全分数后验。最终估计使用其中位数与源选择的校准。在SWE-bench家族的四个任务库的10%任务预算下,HSPR在三个库中实现了最低的平均绝对误差(MAE),在所有四个库中实现了最低的最大绝对误差(MaxErr)。移除群体不确定性或替换自适应查询会增加相应控制中的宏MAE。随着预算的5-20%增加,宏MAE下降。
AI 选稿理由HSPR通过分层后验推理提高了软件代理基准分数的评估效率,降低了评估成本,适用于需要高效评估软件代理的场景。
AI 导读研究提出EdgeKernelBench,用统一IR部署框架和分层基准覆盖从单算子到紧凑模型图的边缘工作负载,以TVM为参考编译器验证异构边缘后端。单次生成中最佳模型Correct@1为64.5%,但Fast@1.0仅25.5%。为此引入分层IR优化的LEKA,在代理评测子集上Fast@1.0达43.5%,直接生成和Claude Code分别为13.0%和26.1%,后两者使用相同基础模型与优化预算。
AI 选稿理由提出面向异构边缘后端的LLM内核生成统一基准,并给出分层优化代理LEKA;在指定评测子集上以相同基础模型和预算将对齐性能从直接生成的13.0%提升到43.5%,实验限于TVM参考编译器和所测边缘后端。
AI 导读论文指出,Agent 场景下上下文长且持续演化、多轮交互频繁,现有草稿模型接受长度最多下降 80%,维护历史 KV 缓存也带来大量系统开销。DLite 直接复用目标模型的上下文隐藏状态做局部投机预测,不再显式维护历史上下文,并用轻量顺序头恢复块内因果依赖,配合两阶段训练。在通用、长上下文与 Agent 负载上实现 2–6 的接受长度,比 SOTA 方法 DSpark 最高提升 70%。
AI 选稿理由把 Agent 长上下文下的投机解码从“维护历史”变成“复用目标模型隐藏状态做局部预测”,在通用、长上下文和 Agent 负载上把接受长度提升到 2–6、较 DSpark 最高提升 70%,可用于降低多轮 Agent 推理的延迟与显存开销。
AI 导读研究提出一种神经分层离子电子皮肤,密度达1110单元/平方厘米、规模超10000单元,模仿人类感觉系统的分层处理架构,通过信号编码、汇聚与认知建模逐层传输交互信息。基于频率的位置编码让离子电子传感器实现并行传输,抑制串扰并达到每秒100帧,后端汇聚压缩将带宽消耗降低数百倍。搭载该皮肤的人形机器人可完成分辨300微米表面特征的精细触觉交互,并对伤害性刺激做出自我保护反应。
AI 选稿理由为大规模高时空分辨率触觉系统提供了可扩展的并行读出方案,使机器人能分辨300微米级表面细节并具备伤害感知自保护能力,可用于人形机器人的精细操作与安全交互。
AI 导读该研究将循环语言模型中的循环位置、输入注入方式与循环状态组织三个设计维度解耦,在相同参数规模、逻辑深度和 token 预算下从头训练模型对照。结果显示 prelude-recurrent block-coda 三明治架构在上下文提取和推理任务上稳定更优,输入注入主要提升知识检索与上下文利用,随机初始化和分离 H/L 循环状态收益混合甚至为负。在 730M 参数、336B token 规模下,完整 Huginn 架构在全部十项基准上超过 Ouro,且该优势可迁移到 MoE 模型。
AI 选稿理由为循环模型设计提供了可复用的解耦实验结论:Huginn 风格在 8BA0.8B MoE 上用 75% 更少的常驻参数即可超过 112 层前馈基线,并覆盖知识、推理和编码任务。
AI 导读研究者提出 OfficeTown,一个面向专业组织的生成式模拟框架:根据组织的目标和活动描述自动初始化组织,成员协调工作、把有限任务委派给助手 Agent 并评审交付物,产出物、决策和未决事项会持续影响后续工作,职责与权限决定成员可见和可做的范围。团队构建了包含 23 个模拟组织、8 个专业领域、406 项任务和 4836 条评估标准的 OfficeTown Bench。前沿模型评测显示仍有较大提升空间;用 OfficeTown 数据做监督微调和同策略蒸馏后,Qwen3.5-9B 在 GDPval 等外部专业工作基准上显著提升,主从式 harness 也优于单/多 Agent 基线。
AI 选稿理由为通用 Agent 提供了带有组织记忆、权限与评审反馈的可执行训练与评测环境,其数据可迁移提升模型在 GDPval 等外部专业工作基准上的表现。
AI 导读研究提出Conditional Program (CP)压缩表示方法,通过短码和局部尺度重建输入请求的行,仅需两比特编码即可将输出KL降低41-63%。在三个训练的n-gram记忆家族中,共享格子在匹配存储预算下优于测试的拟合码本和低秩残差变体,将DeepSeek的表存储从203GB减少到51GB。
AI 选稿理由解决了大型语言模型中嵌入表存储瓶颈问题,显著降低存储需求同时保持模型性能,使更多工作负载可驻留在GPU上。
AI 导读论文提出文件选择器 CQ2-CARE:在 300 个 SWE-rebench 问题上,用相同 token 预算时,把预算用于挑选要原样展示的整份文件,而不是压缩 token 或检索代码块。配 GPT-5.6 与 Claude Opus 5 分别解决 43.7% 和 46.7% 的问题,比三种压缩器最佳结果高 6.3 个百分点,比三种检索器最佳结果高 9.3 与 12.7 个百分点,也超过 SweRank 和 SWE-Pruner。作者分析称检索器常漏掉要改的文件,压缩器保留了文件却改写文本,导致补丁更难应用。
AI 选稿理由指出补丁类编码 Agent 的上下文瓶颈在于选对整份文件而非压缩,且方法无需额外压缩模型即可提升可应用补丁比例,对做代码 Agent 上下文管理的人可直接复用。
AI 导读研究者提出 OS-Helix,一个端到端训练的多模态计算机使用代理,将 GUI 操作与代码执行统一在同一动作空间中。实验发现简单加入代码工具会拖累 GUI 代理,因此需要混合数据训练内化路由能力。团队通过应用-工件组合生成可执行 Ubuntu 状态和可验证任务,先用 SFT 冷启动,再在真实桌面环境做在线 RL,并提出按动作步聚合权重的 Step-balanced GSPO。在 OSWorld-Verified 上,OS-Helix-27B 与 OS-Helix-35B-A3B 相对同规模 Qwen3.5 混合基线分别提升 35.0% 和 33.7%,OS-Helix-27B-RL 再提升 42.9%,成功率达 66.44%。
AI 选稿理由把 GUI 操作和代码执行训练进同一策略,解决了此前靠提示词拼工具导致代码能力拖累 GUI 的瓶颈,并给出可验证数据生成和 RL 优化方法,可供构建桌面自动化代理的研究与工程团队参考。
AI 导读论文提出 LEV 决策模型,通过循环重跑层而非生成 token 来加深推理。模型基于按循环方式预训练的语言模型,每个循环步骤后读取选项并联合训练所有步骤,因此同一 checkpoint 可在任意深度作答。在三个循环骨干网络上,准确率随深度提升,主要改善难题:2.6B LEV 在 JevBench 上从深度 1 的 63.2% 升至深度 4 的 76.2%。按问题自适应设定深度可节省 15%–24% 计算量,代价不到一个准确率点。在锁定测试集上,1.4B 和 3B 模型比同延迟(低于 50ms)的稠密模型和级联方案高 5.4 至 8.8 个点。
AI 选稿理由提供了一种不生成 token 就能按需增加推理深度的决策模型方案,同一权重可自适应深度并节省 15%–24% 计算,适合低延迟分类与多选问答场景。
AI 导读研究者提出BizBench,一个基于某头部支付公司真实业务流程的多轮基准,用于评测长周期Agent的中间执行有效性。其可执行环境整合789份知识文档与601个可发现业务工具,包含50个涉及资源约束、时间依赖、既有承诺及冲突/过时指引的任务,通过确定性检查同时评估目标达成与执行合法性。实验显示前沿模型仍有明显短板:Claude Opus 5和GPT-6 Sol严格成功率仅64.0%和61.3%;Qwen3.8-27B目标达成率42.0%但严格成功率降至32.7%;DeepSeek-V4.1-Flash平均每次运行191.3次工具调用,比参考执行多约70%。
AI 选稿理由提供了可执行的长周期Agent评测环境,把评估从只看最终结果推进到检查中间步骤是否合规,可用于支付等高风险业务场景下Agent可靠性的测试与改进。
AI 导读论文提出 ReaDy,首个利用混合线性注意力(HLA)模型循环状态辅助推测解码的方法:每个草稿位置通过可学习查询从目标模型已提交的循环状态中检索位置相关上下文,轻量状态读取器以残差方式注入草稿表示,并通过低秩读取与融合算子控制开销。在数学、代码生成、对话等七个基准上,ReaDy 在单张 NVIDIA B200 上配合 Qwen3.8-27B 平均取得 3.16 倍解码加速,吞吐较 DSpark 提升 7.97%,接受长度提升 8.50%。代码已开源。
AI 选稿理由把混合线性注意力模型的循环状态用作推测解码的位置相关上下文,在多个基准上把草稿吞吐和接受长度同时提升,可直接用于长文本自回归推理的加速部署。
AI 导读论文发现更大的双向块能提升视频质量并更好利用 GPU 并行,但传统交互式视频生成依赖小块以降低延迟。作者提出 Speculative Sampling:通过在建模窗口后附加噪声潜变量作填充,并缓存预测结果在条件不变时复用,兼顾大窗口的建模能力与小窗口的低延迟交互。预测增量交付,未提交的未来部分仍可替换。延迟分析显示该方法消除了块边界带来的等待时间下界,使双向窗口大小成为可联合优化视觉质量与采样时间的决策变量,而不再是低延迟交互的硬约束。
AI 选稿理由提出一种无需复杂流式后训练即可在交互式流式系统中部署大型双向视频生成模型的采样策略,消除了块边界等待下界,让窗口大小可同时优化画质与延迟,适合做实时视频生成服务与系统的团队参考。
AI 导读研究者发布 Game2Real-Bench 基准,覆盖细粒度感知、空间推理、约束推理与序列规划四类能力,包含 1000 个可执行验证的程序化游戏样本和 400 个按推理需求对齐的真实样本。评测 25 个 VLM 后发现游戏与真实任务表现高度一致(相关系数 0.935);one-shot 游戏中,部分模型的约束推理提升,但细粒度感知下降。团队还构建了含约 24K 样本、18 类任务、65 个 QA 家族的 Game2Real-Dataset。
AI 选稿理由该基准首次系统验证游戏任务与真实视觉推理的对应关系,并给出可执行验证的数据集,可供 VLM 评测与训练选择数据来源时参考。
AI 导读微软研究院开发了一套端到端机器学习流水线,利用太阳风观测与 AE、Dst 指数预报,结合纬度、地质电导率等本地条件,为美国本土 66,935 座变电站生成 30-60 分钟前的空间天气风险估计。