外观
AI 导读研究团队提出视频中心深度研究报告生成任务，给定视频和用户请求，智能体可识别研究问题、检索外部多模态证据并生成交互式报告。该任务包含50个中英文任务，覆盖19个现实子类别，共6414项评估标准。测试显示最佳系统得分为63.3分，当前智能体仍需提升内容覆盖度、跨模态因果逻辑分析能力和引用准确性。
AI 选稿理由新增视频中心深度研究报告生成基准OmniDR-Bench，包含50个中英文任务和6414项评估标准，为视频内容研究提供标准化评估框架。
AI 导读研究团队提出AnyGameRenderer，一种视频到视频的生成渲染器，可将AI编程代理生成的简单游戏（如灰色块状、几何图形）转换为高质量视觉效果，同时保持布局、相机和每个实体的位置与时间不变。该模型通过LoRA微调MiniMax-H3 ref2va（33B参数）实现，支持多种游戏类型输入，并在实体级基准测试中，时间匹配率从50.9%提升至62.9%，漏检计数变化从34.7%降至21.3%。
AI 选稿理由AnyGameRenderer解决了AI生成游戏视觉效果差的问题，通过实体一致渲染技术提升游戏质量，适用于多种游戏类型，并提供了新的实体级评估基准。
AI 导读这篇综述把视频基础模型与世界模型放在同一框架下考察：把观测视频视为潜在时序世界的部分、有损且按时间排列的投影，并用读、写、共享、交互四类操作组织文献。作者区分观测或生成序列的时序连贯性与底层世界状态的一致性，梳理研究重点从片段级识别和感知保真度转向持久状态、可控演化、物理与因果有效性。
AI 选稿理由用世界建模统一框架系统性梳理视频理解与生成文献，并提出读/写/共享/交互四类操作与持久状态等评测方向，为视频世界模型研究提供可复用的分类视角。
AI 导读研究提出 Factor-Aware Predictive Learning（FAPL），把有效利用 MLLM 潜变量作为共同前提，再用互补学习信号分别实现要素感知控制与稀疏输入下的时间推断。方法含三步：冻结 MLLM 仅靠潜变量训练 DiT；用成对视频做要素跨度替换；以文本、完整视频共享目标并冻结 DiT 反训 MLLM。实验在稀疏到视频、要素感知编辑和多镜头生成三个任务上均优于基线。
AI 选稿理由论文给出让 DiT 真正利用 MLLM 潜变量、并同时控制角色/场景/动作/相机的三阶段训练方法，在三个电影级视频生成任务上验证有效。
AI 导读研究提出RealMe框架，通过高分辨率视频扩散模型将稀疏低分辨率捕捉增强为2K分辨率、4D一致的体积视频。该模型构建辅助数据并编码为潜在表示，采用分解时空注意力适应多视图捕捉布局，通过潜在频率损失减少生成视频与真实捕捉间的数据差距，在DNA-Rendering基准和自建RealVV数据集上实现视觉保真度和4D一致性超越现有方法。
AI 选稿理由RealMe通过视频扩散模型和潜在频率损失解决了稀疏捕捉生成高质量体积视频的问题，适用于医疗、影视和VR等领域的内容创作。
AI 导读研究团队推出AW-0框架，将代码规划、未来视频预测和机器人动作控制整合为三个耦合的生成流，在统一transformer架构中实现。通过代码专家生成参数化技能程序，视频和动作专家生成视觉状态和低级指令。在RoboTwin 2.0和双臂操作任务中，该模型在任务性能、语言遵循、语义推理和鲁棒性上超越VLA和WAM基线。
AI 选稿理由AW-0首次将代码规划与视频动作预测整合为统一框架，实现了技能的复用和物理动态预测的结合，在机器人操作任务中展现出显著性能提升。
AI 导读论文指出，在教师强制下，自回归视频扩散模型容易依赖局部视觉连续性来去噪当前片段，未必真正学会场景如何演变。作者提出 Future Chunk Prediction（FCP）：在教师强制去噪之外，同时预测与当前相隔一段时间、且看不到中间视觉上下文的片段。该方法直接从训练视频取监督，不需要额外的预训练视觉编码器，也不改变自回归推理。结果显示，在总体训练计算量更低的情况下，其物理合理性优于标准教师强制训练；可视化还显示，表示空间更有结构，作者认为这可能有助于构建自回归世界模型。
AI 选稿理由论文给出可复用的训练目标，删除视觉演变捷径，在不增加推理改动、降低训练算力下提升物理合理性，属视频世界模型研究进展。
AI 导读视频扩散Transformer的3D注意力开销大，块稀疏注意力只算部分注意力块，但现有方法未优化稀疏分配的层与去噪步组合。作者发现不同层-步对最终画面保真度影响差异很大，且最敏感组合跨输入几乎不变。ALLOT把每对视为单元，经单元探测与轨迹校准估计其对最终视频误差的贡献，在实测延迟预算下联合优化密度，只替换分配环节。相同或更短墙钟时间下，在HunyuanVideo上PSNR比现有分配策略高11.8 dB；在Wan2.1、Wan2.2、HunyuanVideo的四种已发布管线九种设置中，均优于或持平默认。
AI 选稿理由提出免训练稀疏分配方法，在实测延迟约束下按输出误差优化层-步密度，并在五种视频生成管线九种设置中验证优于或持平默认，给出可复用思路与具体PSNR收益。
AI 导读研究人员开发了一种名为DirCast的单流媒体视频语言模型，能够实时进行电子竞技直播的导演和解说。该模型通过分析所有摄像机的低分辨率画面，决定何时切换镜头，并在高分辨率下读取选定镜头的内容进行解说。DirCast在导演和解说方面均优于基于规则的导演和GPT-5等模型，解说能力在Proact-VL协议下与GPT-4o相比胜出29.2%。
AI 选稿理由DirCast模型在电子竞技直播导演和解说方面展现出优于现有技术的性能。
AI 导读论文提出多智能体世界模型OverSeer，在智能体第一视角之外加入空间固定的辅助摄像机视角，作为世界中心表征的代理，使视角变化直接对应世界状态的局部变化。辅助视角因冗余半静态特性可用delta-VAE仅编码相对静态参考图的变化来压缩token。Minecraft与Doom实验显示世界与智能体一致性提升，真实多相机采集的定性结果表明方法不限于游戏引擎，压缩分析显示计算开销显著降低。
AI 选稿理由提出固定辅助视角加delta-VAE压缩的多智能体世界模型方法，在Minecraft、Doom及真实多相机数据上验证一致性提升与计算开销降低。
AI 导读NVIDIA研究团队提出Joints, Camera, Action!（JCA）模型，可为任意给定的骨骼绑定（rig）同时生成视频与可回放的3D动作，并估计相机将动作配准到场景。方法将3D动作保留在独立模型中，通过少量交叉注意力层连接预训练视频模型；模型还学习在视频帧中定位每个关节以恢复相机。借助生成式视频编辑器布置动画3D资产，团队整理出近20万对训练数据（含人与机器人视频）。评测显示该模型从文本驱动多样骨骼比视频优先管线更忠实，动作会响应周围场景，且支持视频转骨骼动作、骨骼动作转视频及基于关键帧的3D动作控制。
AI 选稿理由提出首个支持任意骨骼绑定的视频与3D动作协同生成方法，通过分离式架构与关节定位恢复相机，用近20万训练对实现可回放、场景响应的3D动作生成及双向转换。
AI 导读Matrix-Game 4.0将游戏执行与画面生成分离：轻量游戏引擎维护世界状态并执行交互规则，多模态编码Agent把玩家想法转为游戏代码和动态场景描述，基于自回归视频模型的渲染器再把低多边形代理画面转为高保真视觉。单张RTX5090实现480p、60FPS，按键到显示延迟112ms；单步生成稳态83FPS，峰值显存18.2GiB，RTX5080和RTX5070Ti上分别为67FPS和58FPS。代码、模型权重和低多边形游戏资产已开源。
AI 选稿理由给出可玩游戏世界的执行—渲染分离架构，并在单卡上实测延迟、帧率与显存，同时开源代码、权重和资产，为实时视频生成与游戏交互结合提供可复现基线。
AI 导读研究提出 Video-Point Model（VPM），以多视角视频历史和语言指令为条件，联合预测任意视角的未来视频和持续场景点的 3D 轨迹。团队扩展预训练世界模型，加入相机条件多视角处理和轨迹预测头，并构建 VPM-Data 仿真语料与 VP-WorldBench 基准。将动作作为 token 接入后，该模型在仿真与真实机器人操作中成功率均提升。
AI 选稿理由新增可复用的世界模型方法：点轨迹监督同时改善视频保真度与 3D 运动精度，并覆盖仿真和真机操作任务。
AI 导读研究提出结构条件视频渲染器SolarRenderer，基于冻结的33B MiniMax-H3主干加两个轻量LoRA，将结构视频直接送入原生参考通道，仅用纯文本描述，无需类型标识。借助四步LoRA与结构引导分布匹配，渲染比50步采样快12.3倍；块因果变体支持实时生成768p视频。模型在13.6万片段对齐语料上训练，在分布内测试集和16种结构表示的泛化基准上均达SOTA，并泛化到姿态骨架、手绘图、点云等11种未见表示。
AI 选稿理由新增结果：SolarRenderer以冻结MiniMax-H3 33B加两个轻量LoRA实现四步结构条件渲染，速度提升12.3倍并在16种结构表示基准上验证，适用于游戏引擎与编码代理生成视频的研究场景。
AI 导读研究团队提出FRED框架，通过自蒸馏方法改进World Action Models(WAMs)中未来视频表示的质量。该框架利用真实未来观测作为目标，从噪声中预测未来表示，并结合历史观测提供时间上下文。在多样化实际操作场景中，FRED在长时程和跨域任务上显著优于现有WAMs，将人类到机器人的技能转移成功率从19.4%提升至50.0%。
AI 选稿理由FRED框架通过自蒸馏方法显著提升了机器人未来视频表示质量，在长时程和跨域任务上实现零样本泛化，并大幅提高人类到机器人的技能转移成功率。
AI 导读NVIDIA 发布 Cosmos3-H-Dreams，基于 160 亿参数 Cosmos3-H-Embodied-Nano，利用 CMR Surgical Versius 平台临床胆囊切除视频与机器人运动学训练。模型采用 28 维动作控制，提供四步与两步蒸馏检查点，搭配 FlashDreams 流式推理，可在单张 RTX PRO 6000 GPU 上实时运行，并支持适配自有数据与控制器。
AI 选稿理由首次展示基于临床胆囊切除录像训练、支持实时运动学控制的生成式手术仿真器，并开放四步与两步检查点及教师微调、Self-Forcing 蒸馏流程，适用于手术机器人仿真研究。
AI 导读DeOverlay提出了一种源锚定流模型，用于移除视频中的字幕、标题和logo等叠加物，同时保留周围内容。该模型通过区域加权流匹配训练共享速度网络，结合可见性归一化时间聚合和全局源上下文，实现场景重建。研究团队还创建了DVTE-Bench基准数据集，包含1631对视频和八类文本叠加物。实验显示，DeOverlay在五项重建和感知指标上均优于四个基线，Mask LPIPS和Mask VFID分别降低58.3%和70.3%。
AI 选稿理由DeOverlay解决了视频叠加物移除中残留和场景结构扭曲的问题，通过源锚定流模型显著提升重建质量，适用于视频编辑和内容处理领域。
AI 导读Manga2Animate提出了一种多智能体框架，通过将漫画动画生成任务分解为动画脚本和视觉分镜两个中间表示，每个表示由创作者智能体生成并由配对的审查者智能体对照原漫画面板进行审核，最终合成忠实于原漫画且跨镜头一致的动画。实验和用户研究表明，该方法比现有技术更忠实于原漫画且跨镜头一致性更强。
AI 选稿理由解决了漫画动画生成中忠实于原作和保持故事连贯性的瓶颈，为动画制作提供了可复用的技术方案。
AI 导读研究者发布Code2Video-Compass基准，用于评估多模态大模型把视觉与时间要求转成可执行程序来生成完整视频的能力。基准含2104项任务、10类、24子类和构建、动态动画、状态依赖三个复杂度维度，覆盖T2V、I2V、V2V；采用12项客观指标与5项主观指标的评测框架。15个来自9个家族的专有及开放权重模型测试显示，领先模型仍难稳定生成符合要求的完整视频，复杂度升高时性能普遍下降。
AI 选稿理由该工作提供覆盖三种输入模态与三个复杂度维度的2104项代码视频生成任务及双层评测框架，并给出15个模型的实证结果，适用于评估程序化视频生成能力。
AI 导读研究团队推出StreamEval，一个涵盖五个任务的交互式流式视频生成统一基准，包括虚拟人对话、表演、世界生成、指令编辑和参考编辑。该基准包含300个测试用例，通过四个维度（任务执行、状态一致性、视觉保真度和视听协调）评估37个模型，发现高质量视觉和身份保留并不一定可靠执行请求或保持状态一致性，请求执行仍是主要挑战。
AI 选稿理由StreamEval提供了首个交互式流式视频生成的统一评估框架，揭示了当前模型在请求执行和状态一致性方面的关键缺陷，为实时多模态系统发展指明方向。
AI 导读Kling AI推出视频生成器4.0版本，支持30秒视频片段、10个关键帧图像输入，提示词理解扩展至8000 tokens。与Wan 3.0和Seedance 2.5的对比显示，Kling 4.0表现相当但未领先，这可能表明AI视频模型的快速发展速度开始趋于平缓。
AI 选稿理由Kling 4.0通过立体声音频和多语言口型同步技术提升了视频生成的真实感，同时提供轻量Flash变体满足不同性能需求，为内容创作者提供更灵活的工具选择。
AI 导读2026年10月9日，AWS宣布TwelveLabs的Pegasus 1.5视频语言模型已在Amazon Bedrock上线。该模型可将长视频转换为带时间戳的结构化元数据，支持基于用户定义条件匹配视频片段，并引入视频分段、多模态提示和即时处理功能，无需预索引即可直接分析Amazon S3中的视频，数据保持在AWS边界内。
AI 选稿理由Pegasus 1.5解决了视频内容难以搜索和利用的痛点，通过结构化元数据提取和多模态理解，使企业能高效分析长达两小时的视频内容，无需复杂预处理流程。
AI 导读研究提出参考引导的流匹配框架StreamingSwap，通过Joint Rec-ID Loss按噪声水平平衡身份监督与隐空间重建，并借助Face-RoI Generation和Short-Context Rollout Training减少空间token与时间上下文长度。同时发布1000小时电影级训练数据及200条短视频、200条长视频评测集HumanFaceVid。实验显示单张RTX 4090上可达20 FPS，最长10分钟视频稳定生成。
AI 选稿理由提出面向实时流式视频换脸的完整方法与配套数据集HumanFaceVid，在单卡RTX 4090上实现20 FPS、10分钟长视频稳定生成，属于可复用的视频生成方法进展。
AI 导读论文提出免训练方法SpecKCast：对扩散模型输出做二维离散余弦变换，用轻量卡尔曼滤波按噪声调度导出的频带时间坐标跟踪各系数，仅当预测不确定性超阈值时才评估Transformer。在FLUX.1-dev、Qwen-Image、Wan2.1-14B和HunyuanVideo上，该方法在加速与保真度的权衡上优于现有缓存与预测方法，最高实现6倍加速，额外内存不足0.05 GiB。
AI 选稿理由提出免训练的频域卡尔曼预测方法，在四个图像/视频扩散模型上以不足0.05 GiB额外内存实现最高6倍加速，优于现有特征缓存与外推方法。
AI 导读研究团队发布PVBench，从7个领域、46个维度评估生成视频的物理合理性，覆盖指令与语义、行为因果、几何空间、材料与场状态、运动学及机械守恒等。基准含600条提示，其中30%涉及机械臂、人形、四足等具身智能体，并为可计算维度接入6D位姿、尺度、法线等专用视觉模型，避免只靠主观打分；同时支持文生视频与图生视频，并用人工评估校验自动指标。
AI 选稿理由提供了一个把物理合理性拆成可测量维度并配专用视觉模型的视频生成基准，公开600条提示与校准协议，适合评估视频模型而非只看画面观感。
AI 导读扩散式视频抠像受算力限制，每次只能处理6至24帧，跨分块边界易出现边缘闪烁和透明度不连续。VideoMaMa++把RGB与掩码作为独立Token流，经全时空自注意力自适应融合，并引入可学习的保留Token与细化Token，配合滑动窗口推理把已生成抠像传播到下一分块，同时用全局参考锚点防止长序列误差累积，无需额外训练。在标准基准和真实长视频上，其细节精度与时序一致性均优于此前扩散方法。
AI 选稿理由论文针对扩散视频抠像的分块不一致问题提出可复用方法，并在标准基准和长视频上报告了跨边界一致性结果，适合作为视频生成/编辑方向的技术简报。
AI 导读研究提出Temporal Chain of Video Primitives (TCoVP)，一种时空视频推理分割方法，将查询相关观察组织成时间顺序推理链，将实体引用与时间支持和时间戳空间证据关联，用于视频掩码预测。通过TCoVP-SFT-15k和TCoVP-RL-13k数据集进行监督微调和链对齐强化学习，在五个VRS基准测试和三个模型骨干上展示强大性能，所有模型和代码将公开。
AI 选稿理由解决了视频推理分割中语言推理与视觉证据之间的差距，通过时空推理链提升目标识别和掩码预测准确性
AI 导读研究提出 Painting Change Map，用 RGB 编码记录1000步内的归一化结构变化，同时控制“在哪画”和“何时画”，可引导正向绘制与反向“取消绘制”。基准测试中优于现有控制基线，与先进绘画方法持平或更好；在 oracle 条件下显著超过所有基线。代码已开源。
AI 选稿理由提出可精细控制绘画视频时空演变的新条件机制，并在标准基准上给出相对现有控制方法的量化比较，适用于数字艺术生成研究。
AI 导读UniAVC解决了现有方法依赖稀缺的成对数据集问题，采用分模态训练和独立噪声调度策略，实现了文本条件下的联合生成、双向跨模态生成和指令引导编辑。该模型支持意图感知编辑和推理后自我完善，无需任务特定适配器即可完成多种创作任务。
AI 选稿理由UniAVC突破了音视频创作中成对数据稀缺的限制，通过创新训练策略实现了高效跨模态耦合，为多媒体内容创作提供了新范式。
AI 导读研究者提出 PPMem，将平面基元作为视频世界模型的持久3D记忆，每个基元仅需7个参数。它在视频扩散Transformer上增加平面预测头和Depth Token Fusion模块，使自回归生成的每一段同时输出RGB视频与平面几何，并合并为持久平面记忆，通过渲染深度约束后续生成。该记忆比逐像素点云紧凑约三个数量级（约10万个基元、整场景5MB），且具备度量深度、法线和可导出表面。在DL3DV和RealEstate10K上，PPMem的视频质量优于此前的3D接地世界模型，并能在大视角变化下维持数百帧的连贯性。
AI 选稿理由用平面基元把视频世界模型的3D记忆压缩到约5MB并保留度量深度与可导出几何，为长视频生成和场景探索提供了更可扩展的记忆表示。
AI 导读研究者提出 MIST 评测，将“场景设置”与“应留下的记忆”分开检验，发现视频世界模型在记忆测试中失分主要因为未执行被指示的变更，而非遗忘。基于此提出 M3-Agent（Make the Missing Move），递归改写输入指令细节以促使模型执行指令，其 MIST reveal 得分相比基线提升三倍以上，WRBench 的 T 分数提升 26.1%，MBench-T 的 U 分数提升 52.7%。
AI 选稿理由把视频世界模型的“执行失败”与“记忆失败”拆开诊断，并给出可递归改写指令的 M3-Agent，使冻结模型在既有基准上显著提升，为世界模型评测与提示设计提供了可复用方法。
AI 导读研究团队推出OmniXRef框架，支持结合文本、图像和视频参考进行视频编辑。该框架采用统一输入设计和R²-RoPE技术，通过单流扩散Transformer处理源视频和多模态上下文。为解决训练数据稀缺问题，研究人员构建了OmniXRef-Data数据集，并引入课程学习逐步增加任务复杂度。同时发布OmniXRef-Bench基准测试，评估视频参考在不同属性上的转移效果。实验表明，OmniXRef-Model在性能上超越任务特定基线和商业模型。
AI 选稿理由OmniXRef解决了多模态参考视频编辑中统一处理不同类型参考的技术瓶颈，为视频创作者提供了更灵活、高效的编辑工具。
AI 导读针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系，现有评估指标多沿用早期单向简单任务，难以适用。作者提出以事件为中心的评估框架：在事件层面拆解音频与视觉事件，独立分析后用跨模态关系交叉验证，再聚合成由粗到细的三级一致性指标，涵盖全局叙事和谐、事件级时间同步与细粒度属性对齐。该指标实例化为可训练奖励模型 AVC-Reward，并构建 AVC-Benchmark。结果显示其在自动方法中与人类判断对齐最佳，可给出定位失败的可解释依据，作为在线强化学习信号还能提升联合生成模型的音视频一致性。
AI 选稿理由为复杂音视频生成场景提供了可训练的一致性奖励模型，既能自动评判并定位不一致，也可作为强化学习信号直接改善生成质量。
AI 导读论文提出Event-STVG任务，把时空视频定位从匹配实例描述转向事件级推理，统一长上下文、重复事件推理、事件定位、角色推断与多目标定位。作者构建含4,016个标注事件的基准，覆盖足球及另外七个领域；实验显示最强多模态大模型在10分钟时长上m-vIoU仅5.4%，且反复混淆同类型重复事件、空间定位薄弱、很少能同时定位全部所需角色。代码与标注已开源。
AI 选稿理由提出事件级时空定位新任务与4,016事件、八领域基准，给出最强MLLM在10分钟跨度仅5.4% m-vIoU的量化结果及三类失败模式，适用于视频理解评测研究。
AI 导读研究针对动态高斯表示在小而快速运动物体和高动态区域细纹理重建上的失败，指出瓶颈在于高斯原语分配的位置与时机。作者提出 Seed Injection 与 Temporal Biased Relocation 两种互补策略：前者用时序外观变化与重建误差定位欠重建区域，再通过多视角在几何合理位置初始化新高斯；后者用时间分辨优化信号引导迁移高斯的时空放置。两者都不增加高斯预算、不改底层表示，在多组动态场景数据集上提升了高动态区域的重建质量。
AI 选稿理由不增加高斯数量即可恢复小而快速运动物体与动态区域细节，可被动态三维重建、体积视频与实时渲染方向的研究者和工程实现复用。
AI 导读论文发现更大的双向块能提升视频质量并更好利用 GPU 并行，但传统交互式视频生成依赖小块以降低延迟。作者提出 Speculative Sampling：通过在建模窗口后附加噪声潜变量作填充，并缓存预测结果在条件不变时复用，兼顾大窗口的建模能力与小窗口的低延迟交互。预测增量交付，未提交的未来部分仍可替换。延迟分析显示该方法消除了块边界带来的等待时间下界，使双向窗口大小成为可联合优化视觉质量与采样时间的决策变量，而不再是低延迟交互的硬约束。
AI 选稿理由提出一种无需复杂流式后训练即可在交互式流式系统中部署大型双向视频生成模型的采样策略，消除了块边界等待下界，让窗口大小可同时优化画质与延迟，适合做实时视频生成服务与系统的团队参考。