AI 导读研究团队推出StreamEval,一个涵盖五个任务的交互式流式视频生成统一基准,包括虚拟人对话、表演、世界生成、指令编辑和参考编辑。该基准包含300个测试用例,通过四个维度(任务执行、状态一致性、视觉保真度和视听协调)评估37个模型,发现高质量视觉和身份保留并不一定可靠执行请求或保持状态一致性,请求执行仍是主要挑战。
AI 选稿理由StreamEval提供了首个交互式流式视频生成的统一评估框架,揭示了当前模型在请求执行和状态一致性方面的关键缺陷,为实时多模态系统发展指明方向。
AI 导读论文提出Ask-to-Distill,把合成问题当作分布引出器,用冻结的学生-教师模型对计算问题价值:结合师生分歧、教师概率质量与学生候选支持,并加入长度和多样性控制,无需参考答案、正确性奖励或逐候选更新。生成的问题经筛选去重后进入纯提示题库供标准OPD使用,在数学推理、代码生成与Agent任务上平均性能超过未优化提示和KL过滤的真实问题。
AI 选稿理由提出无需参考答案的问题价值代理指标与生成流程,并在三类任务上给出相对真实题库和过滤基线的评测结果。
AI 导读研究团队开发了解释性管道,发现视觉-语言-动作(VLA)模型将任务指令编码为绝对坐标程序,导致对物体位置变化的脆弱性。通过激活注入实验,模型在99.6%的案例中执行源任务的轨迹,即使面对不同场景。研究还发现不同架构对指令的权重分配差异,以及目标选择与动作生成的分离机制。团队发布了Action Atlas交互平台,包含520+训练SAEs、79个识别概念及UR10e实验结果。
AI 选稿理由提供了视觉-语言-动作模型的内部工作机制解释,揭示了其脆弱性的根本原因,并开源了可复用的分析工具与数据集。
AI 导读论文提出 Progress-Aligned Recurrence(PAR):把第k次迭代的预测对齐到前k步后的状态,并把循环状态缩放回首次迭代的范数。用最多32步训练的Qwen2.5-0.5B在swap-S_5上做512步全状态跟踪,平均准确率95.5%,为训练长度的16倍;同骨干下RLT为55.7%,显式思维链仅0.8%。消融显示去掉范数锚定后外推倍数从16倍降至2.2倍以下,把进度对齐目标换成最终答案监督则至多8倍。
AI 选稿理由给出可复用的训练方法:进度对齐目标加范数锚定,使循环深度在状态跟踪任务上的外推从不到2.2倍提升到16倍,并附同骨干对照与消融结果。
AI 导读NVIDIA研究团队提出Joints, Camera, Action!(JCA)模型,可为任意给定的骨骼绑定(rig)同时生成视频与可回放的3D动作,并估计相机将动作配准到场景。方法将3D动作保留在独立模型中,通过少量交叉注意力层连接预训练视频模型;模型还学习在视频帧中定位每个关节以恢复相机。借助生成式视频编辑器布置动画3D资产,团队整理出近20万对训练数据(含人与机器人视频)。评测显示该模型从文本驱动多样骨骼比视频优先管线更忠实,动作会响应周围场景,且支持视频转骨骼动作、骨骼动作转视频及基于关键帧的3D动作控制。
AI 选稿理由提出首个支持任意骨骼绑定的视频与3D动作协同生成方法,通过分离式架构与关节定位恢复相机,用近20万训练对实现可回放、场景响应的3D动作生成及双向转换。
AI 导读研究团队提出TextRIRO模型,通过破坏原始图像(如裁剪、打乱、遮盖)构建自配对训练数据,基于条件扩散架构实现场景文本编辑。实验表明,结合字符列打乱与图像裁剪的方法能有效破坏文本语义同时保留风格线索,在真实世界基准测试中取得准确性和视觉真实性的优异表现,并构建了TextRIRO-3M大规模长文本识别数据集。
AI 选稿理由TextRIRO模型通过自配对真实数据训练,显著降低了合成到真实领域的差距,为场景文本编辑提供了更可靠、更实用的解决方案。
AI 导读研究提出结构条件视频渲染器SolarRenderer,基于冻结的33B MiniMax-H3主干加两个轻量LoRA,将结构视频直接送入原生参考通道,仅用纯文本描述,无需类型标识。借助四步LoRA与结构引导分布匹配,渲染比50步采样快12.3倍;块因果变体支持实时生成768p视频。模型在13.6万片段对齐语料上训练,在分布内测试集和16种结构表示的泛化基准上均达SOTA,并泛化到姿态骨架、手绘图、点云等11种未见表示。
AI 选稿理由新增结果:SolarRenderer以冻结MiniMax-H3 33B加两个轻量LoRA实现四步结构条件渲染,速度提升12.3倍并在16种结构表示基准上验证,适用于游戏引擎与编码代理生成视频的研究场景。
AI 导读研究追踪SFT、DPO和强化学习如何改变模型匹配用户语言习惯的倾向,在10个开源模型系列中发现后训练会把回复统一成标准英语,且DPO更新仍更偏好匹配英式、澳式拼写而非AAE和新加坡英语。作者提出校准化适配偏好对CAP,在完全开源模型上提升了未训练特征的收敛,未增加标准英语用户的方言输出,也未损害指令遵循;单边偏好对则靠过度迁就用户取得类似增益。
AI 选稿理由论文给出后训练各阶段对语言适配的系统观察,并提出可复现的偏好数据方法CAP,附有开源代码,适用于关注对齐与方言适配的研究者。
AI 导读研究团队用120种训练配置,系统考察持续预训练在数据量、数据多样性和模型规模三个维度上的影响:模型从0.8B到27B共四档,数据预算从50到1600小时共六档,数据混合从只用Minecraft扩展到多世界语料共五类。结果显示:数据越多,同语料世界内表现越好;多样性有助于迁移到相关世界,但对差距很大的世界提升有限;单一世界训练下,增大模型能提高数据效率,但对远处世界的泛化反而更差。作者还拟合了验证损失与这三个变量之间的经验扩展律。模型在3D世界中与Minecraft专家模型和前沿模型水平相当。作者指出,仅靠持续预训练仍不足以构建通用具身智能体。
AI 选稿理由用120组受控实验给出数据量、多样性、模型规模对虚拟世界具身预训练的扩展律与泛化边界,结论可用于设计训练阶段。
AI 导读研究团队提出 Agent4Sci,用作长期测试平台,覆盖 11 个领域的 20 个科学 ML 基准,重点考察 Agent 在真实条件下能改进已发表最佳模型多少,以及会在哪里失败。结果显示,前沿 Agent 在每个基准上都有提升,其中 Claude Opus 的平均相对改进为 10.4%,且没有运行被标记为学术不端;但这些提升主要来自 ML 工程技巧,而不是研究级洞察。轨迹分析指出三类问题:新颖性判断失准、资源利用不足,以及很快退化为局部工程搜索。加入研究构思、实验管理和定时检查清单等轻量插件技能后,Claude Opus 提升到 20.1%,Codex 从 4.4% 提升到 8.1%。代码和数据已在 GitHub 与 Hugging Face 公开。
AI 选稿理由Agent4Sci 用 11 个领域 20 个基准实测前沿 Agent 对已发表最佳模型的改进幅度,并给出插件技能将 Claude Opus 从 10.4% 提到 20.1% 的可复用方法,同时限定在科学 ML 基准范围内。
AI 导读Matrix-Game 4.0将游戏执行与画面生成分离:轻量游戏引擎维护世界状态并执行交互规则,多模态编码Agent把玩家想法转为游戏代码和动态场景描述,基于自回归视频模型的渲染器再把低多边形代理画面转为高保真视觉。单张RTX5090实现480p、60FPS,按键到显示延迟112ms;单步生成稳态83FPS,峰值显存18.2GiB,RTX5080和RTX5070Ti上分别为67FPS和58FPS。代码、模型权重和低多边形游戏资产已开源。
AI 选稿理由给出可玩游戏世界的执行—渲染分离架构,并在单卡上实测延迟、帧率与显存,同时开源代码、权重和资产,为实时视频生成与游戏交互结合提供可复现基线。
AI 导读论文提出HarnessAdapt-RL,在强化学习训练编码Agent时同步调整模型策略与执行框架(harness),不再固定框架只更新策略。冻结教师为具体任务生成机制级技能,另一教师按跨任务共性问题演化工具与hooks,仅保留不降低通过率或可训练率的改动。9B基座模型在SWE-bench Verified、Multilingual、Pro上pass@1较GRPO分别提高9.8、12.6、6.4个百分点,也优于配OpenHands人工框架的GRPO。
AI 选稿理由给出把Agent执行框架纳入强化学习训练的具体方法,并在SWE-bench三个设置上量化对比GRPO与人工框架,属可复用的Agent训练研究。
AI 导读研究者提出Lafa,将连续流语言模型扩展到8B参数,采用块内双向异步流加前缀因果注意力的设计,可通过改造预训练自回归模型高效训练,并用前缀缓存和块级并行解码加速推理。在0.5B、7B、8B规模上,均以少于300亿token完成训练,指令跟随、推理和编程质量与AR相当或更好,还能蒸馏成流映射,实现一步或少步生成。利用流训练的多token预测效应做自推测解码,吞吐量达AR的2.54倍。
AI 选稿理由给出8B连续流语言模型的完整训练与推理方案,并在多token预测和自推测解码下报告了2.54倍吞吐的具体结果,属于可复用的生成建模范式进展。
AI 导读论文提出HRoPE,把每个patch的局部几何表示为倾斜3D平面,并将token级、由平面诱导的单应性作为相对变换注入注意力,从而在视角间校正透视畸变、对齐patch特征。该方法无需真值几何,平面参数可在视角合成目标下端到端预测,也可由基础模型导出。在RealEstate10K、CO3Dv2和DL3DV上的新视角合成实验中,最佳变体持续优于所评估的几何位置编码。
AI 选稿理由提出表面感知位置编码,把patch平面单应性注入注意力,在三个新视角合成数据集上验证优于现有几何位置编码,且不需要真值几何。