AI 视频

AI 导读研究提出 Factor-Aware Predictive Learning（FAPL），把有效利用 MLLM 潜变量作为共同前提，再用互补学习信号分别实现要素感知控制与稀疏输入下的时间推断。方法含三步：冻结 MLLM 仅靠潜变量训练 DiT；用成对视频做要素跨度替换；以文本、完整视频共享目标并冻结 DiT 反训 MLLM。实验在稀疏到视频、要素感知编辑和多镜头生成三个任务上均优于基线。

AI 选稿理由论文给出让 DiT 真正利用 MLLM 潜变量、并同时控制角色/场景/动作/相机的三阶段训练方法，在三个电影级视频生成任务上验证有效。

AI 导读研究团队提出AnyGameRenderer，一种视频到视频的生成渲染器，可将AI编程代理生成的简单游戏（如灰色块状、几何图形）转换为高质量视觉效果，同时保持布局、相机和每个实体的位置与时间不变。该模型通过LoRA微调MiniMax-H3 ref2va（33B参数）实现，支持多种游戏类型输入，并在实体级基准测试中，时间匹配率从50.9%提升至62.9%，漏检计数变化从34.7%降至21.3%。

AI 选稿理由AnyGameRenderer解决了AI生成游戏视觉效果差的问题，通过实体一致渲染技术提升游戏质量，适用于多种游戏类型，并提供了新的实体级评估基准。

AI 导读这篇综述把视频基础模型与世界模型放在同一框架下考察：把观测视频视为潜在时序世界的部分、有损且按时间排列的投影，并用读、写、共享、交互四类操作组织文献。作者区分观测或生成序列的时序连贯性与底层世界状态的一致性，梳理研究重点从片段级识别和感知保真度转向持久状态、可控演化、物理与因果有效性。

AI 选稿理由用世界建模统一框架系统性梳理视频理解与生成文献，并提出读/写/共享/交互四类操作与持久状态等评测方向，为视频世界模型研究提供可复用的分类视角。

AI 导读研究团队提出视频中心深度研究报告生成任务，给定视频和用户请求，智能体可识别研究问题、检索外部多模态证据并生成交互式报告。该任务包含50个中英文任务，覆盖19个现实子类别，共6414项评估标准。测试显示最佳系统得分为63.3分，当前智能体仍需提升内容覆盖度、跨模态因果逻辑分析能力和引用准确性。

AI 选稿理由新增视频中心深度研究报告生成基准OmniDR-Bench，包含50个中英文任务和6414项评估标准，为视频内容研究提供标准化评估框架。

AI 导读研究人员开发了一种名为DirCast的单流媒体视频语言模型，能够实时进行电子竞技直播的导演和解说。该模型通过分析所有摄像机的低分辨率画面，决定何时切换镜头，并在高分辨率下读取选定镜头的内容进行解说。DirCast在导演和解说方面均优于基于规则的导演和GPT-5等模型，解说能力在Proact-VL协议下与GPT-4o相比胜出29.2%。

AI 选稿理由DirCast模型在电子竞技直播导演和解说方面展现出优于现有技术的性能。

AI 导读论文指出，在教师强制下，自回归视频扩散模型容易依赖局部视觉连续性来去噪当前片段，未必真正学会场景如何演变。作者提出 Future Chunk Prediction（FCP）：在教师强制去噪之外，同时预测与当前相隔一段时间、且看不到中间视觉上下文的片段。该方法直接从训练视频取监督，不需要额外的预训练视觉编码器，也不改变自回归推理。结果显示，在总体训练计算量更低的情况下，其物理合理性优于标准教师强制训练；可视化还显示，表示空间更有结构，作者认为这可能有助于构建自回归世界模型。

AI 选稿理由论文给出可复用的训练目标，删除视觉演变捷径，在不增加推理改动、降低训练算力下提升物理合理性，属视频世界模型研究进展。

AI 导读视频扩散Transformer的3D注意力开销大，块稀疏注意力只算部分注意力块，但现有方法未优化稀疏分配的层与去噪步组合。作者发现不同层-步对最终画面保真度影响差异很大，且最敏感组合跨输入几乎不变。ALLOT把每对视为单元，经单元探测与轨迹校准估计其对最终视频误差的贡献，在实测延迟预算下联合优化密度，只替换分配环节。相同或更短墙钟时间下，在HunyuanVideo上PSNR比现有分配策略高11.8 dB；在Wan2.1、Wan2.2、HunyuanVideo的四种已发布管线九种设置中，均优于或持平默认。

AI 选稿理由提出免训练稀疏分配方法，在实测延迟约束下按输出误差优化层-步密度，并在五种视频生成管线九种设置中验证优于或持平默认，给出可复用思路与具体PSNR收益。

AI 导读研究团队推出AW-0框架，将代码规划、未来视频预测和机器人动作控制整合为三个耦合的生成流，在统一transformer架构中实现。通过代码专家生成参数化技能程序，视频和动作专家生成视觉状态和低级指令。在RoboTwin 2.0和双臂操作任务中，该模型在任务性能、语言遵循、语义推理和鲁棒性上超越VLA和WAM基线。

AI 选稿理由AW-0首次将代码规划与视频动作预测整合为统一框架，实现了技能的复用和物理动态预测的结合，在机器人操作任务中展现出显著性能提升。

AI 导读研究提出RealMe框架，通过高分辨率视频扩散模型将稀疏低分辨率捕捉增强为2K分辨率、4D一致的体积视频。该模型构建辅助数据并编码为潜在表示，采用分解时空注意力适应多视图捕捉布局，通过潜在频率损失减少生成视频与真实捕捉间的数据差距，在DNA-Rendering基准和自建RealVV数据集上实现视觉保真度和4D一致性超越现有方法。

AI 选稿理由RealMe通过视频扩散模型和潜在频率损失解决了稀疏捕捉生成高质量体积视频的问题，适用于医疗、影视和VR等领域的内容创作。

AI 导读研究团队提出FRED框架，通过自蒸馏方法改进World Action Models(WAMs)中未来视频表示的质量。该框架利用真实未来观测作为目标，从噪声中预测未来表示，并结合历史观测提供时间上下文。在多样化实际操作场景中，FRED在长时程和跨域任务上显著优于现有WAMs，将人类到机器人的技能转移成功率从19.4%提升至50.0%。

AI 选稿理由FRED框架通过自蒸馏方法显著提升了机器人未来视频表示质量，在长时程和跨域任务上实现零样本泛化，并大幅提高人类到机器人的技能转移成功率。

AI 导读NVIDIA 发布 Cosmos3-H-Dreams，基于 160 亿参数 Cosmos3-H-Embodied-Nano，利用 CMR Surgical Versius 平台临床胆囊切除视频与机器人运动学训练。模型采用 28 维动作控制，提供四步与两步蒸馏检查点，搭配 FlashDreams 流式推理，可在单张 RTX PRO 6000 GPU 上实时运行，并支持适配自有数据与控制器。

AI 选稿理由首次展示基于临床胆囊切除录像训练、支持实时运动学控制的生成式手术仿真器，并开放四步与两步检查点及教师微调、Self-Forcing 蒸馏流程，适用于手术机器人仿真研究。

AI 导读论文提出多智能体世界模型OverSeer，在智能体第一视角之外加入空间固定的辅助摄像机视角，作为世界中心表征的代理，使视角变化直接对应世界状态的局部变化。辅助视角因冗余半静态特性可用delta-VAE仅编码相对静态参考图的变化来压缩token。Minecraft与Doom实验显示世界与智能体一致性提升，真实多相机采集的定性结果表明方法不限于游戏引擎，压缩分析显示计算开销显著降低。

AI 选稿理由提出固定辅助视角加delta-VAE压缩的多智能体世界模型方法，在Minecraft、Doom及真实多相机数据上验证一致性提升与计算开销降低。

AI 导读研究者发布Code2Video-Compass基准，用于评估多模态大模型把视觉与时间要求转成可执行程序来生成完整视频的能力。基准含2104项任务、10类、24子类和构建、动态动画、状态依赖三个复杂度维度，覆盖T2V、I2V、V2V；采用12项客观指标与5项主观指标的评测框架。15个来自9个家族的专有及开放权重模型测试显示，领先模型仍难稳定生成符合要求的完整视频，复杂度升高时性能普遍下降。

AI 选稿理由该工作提供覆盖三种输入模态与三个复杂度维度的2104项代码视频生成任务及双层评测框架，并给出15个模型的实证结果，适用于评估程序化视频生成能力。

AI 导读研究提出 Video-Point Model（VPM），以多视角视频历史和语言指令为条件，联合预测任意视角的未来视频和持续场景点的 3D 轨迹。团队扩展预训练世界模型，加入相机条件多视角处理和轨迹预测头，并构建 VPM-Data 仿真语料与 VP-WorldBench 基准。将动作作为 token 接入后，该模型在仿真与真实机器人操作中成功率均提升。

AI 选稿理由新增可复用的世界模型方法：点轨迹监督同时改善视频保真度与 3D 运动精度，并覆盖仿真和真机操作任务。

AI 导读研究团队推出StreamEval，一个涵盖五个任务的交互式流式视频生成统一基准，包括虚拟人对话、表演、世界生成、指令编辑和参考编辑。该基准包含300个测试用例，通过四个维度（任务执行、状态一致性、视觉保真度和视听协调）评估37个模型，发现高质量视觉和身份保留并不一定可靠执行请求或保持状态一致性，请求执行仍是主要挑战。

AI 选稿理由StreamEval提供了首个交互式流式视频生成的统一评估框架，揭示了当前模型在请求执行和状态一致性方面的关键缺陷，为实时多模态系统发展指明方向。

AI 导读NVIDIA研究团队提出Joints, Camera, Action!（JCA）模型，可为任意给定的骨骼绑定（rig）同时生成视频与可回放的3D动作，并估计相机将动作配准到场景。方法将3D动作保留在独立模型中，通过少量交叉注意力层连接预训练视频模型；模型还学习在视频帧中定位每个关节以恢复相机。借助生成式视频编辑器布置动画3D资产，团队整理出近20万对训练数据（含人与机器人视频）。评测显示该模型从文本驱动多样骨骼比视频优先管线更忠实，动作会响应周围场景，且支持视频转骨骼动作、骨骼动作转视频及基于关键帧的3D动作控制。

AI 选稿理由提出首个支持任意骨骼绑定的视频与3D动作协同生成方法，通过分离式架构与关节定位恢复相机，用近20万训练对实现可回放、场景响应的3D动作生成及双向转换。

AI 导读研究提出结构条件视频渲染器SolarRenderer，基于冻结的33B MiniMax-H3主干加两个轻量LoRA，将结构视频直接送入原生参考通道，仅用纯文本描述，无需类型标识。借助四步LoRA与结构引导分布匹配，渲染比50步采样快12.3倍；块因果变体支持实时生成768p视频。模型在13.6万片段对齐语料上训练，在分布内测试集和16种结构表示的泛化基准上均达SOTA，并泛化到姿态骨架、手绘图、点云等11种未见表示。

AI 选稿理由新增结果：SolarRenderer以冻结MiniMax-H3 33B加两个轻量LoRA实现四步结构条件渲染，速度提升12.3倍并在16种结构表示基准上验证，适用于游戏引擎与编码代理生成视频的研究场景。

AI 导读Matrix-Game 4.0将游戏执行与画面生成分离：轻量游戏引擎维护世界状态并执行交互规则，多模态编码Agent把玩家想法转为游戏代码和动态场景描述，基于自回归视频模型的渲染器再把低多边形代理画面转为高保真视觉。单张RTX5090实现480p、60FPS，按键到显示延迟112ms；单步生成稳态83FPS，峰值显存18.2GiB，RTX5080和RTX5070Ti上分别为67FPS和58FPS。代码、模型权重和低多边形游戏资产已开源。

AI 选稿理由给出可玩游戏世界的执行—渲染分离架构，并在单卡上实测延迟、帧率与显存，同时开源代码、权重和资产，为实时视频生成与游戏交互结合提供可复现基线。

AI 导读Kling AI推出视频生成器4.0版本，支持30秒视频片段、10个关键帧图像输入，提示词理解扩展至8000 tokens。与Wan 3.0和Seedance 2.5的对比显示，Kling 4.0表现相当但未领先，这可能表明AI视频模型的快速发展速度开始趋于平缓。

AI 选稿理由Kling 4.0通过立体声音频和多语言口型同步技术提升了视频生成的真实感，同时提供轻量Flash变体满足不同性能需求，为内容创作者提供更灵活的工具选择。

AI 导读2026年10月9日，AWS宣布TwelveLabs的Pegasus 1.5视频语言模型已在Amazon Bedrock上线。该模型可将长视频转换为带时间戳的结构化元数据，支持基于用户定义条件匹配视频片段，并引入视频分段、多模态提示和即时处理功能，无需预索引即可直接分析Amazon S3中的视频，数据保持在AWS边界内。

AI 选稿理由Pegasus 1.5解决了视频内容难以搜索和利用的痛点，通过结构化元数据提取和多模态理解，使企业能高效分析长达两小时的视频内容，无需复杂预处理流程。