外观
AI 视频生成与理解：文生视频模型、视频编辑工具与影视创作变革的追踪。
36 篇文章
AI 导读DeOverlay提出了一种源锚定流模型，用于移除视频中的字幕、标题和logo等叠加物，同时保留周围内容。该模型通过区域加权流匹配训练共享速度网络，结合可见性归一化时间聚合和全局源上下文，实现场景重建。研究团队还创建了DVTE-Bench基准数据集，包含1631对视频和八类文本叠加物。实验显示，DeOverlay在五项重建和感知指标上均优于四个基线，Mask LPIPS和Mask VFID分别降低58.3%和70.3%。
AI 选稿理由DeOverlay解决了视频叠加物移除中残留和场景结构扭曲的问题，通过源锚定流模型显著提升重建质量，适用于视频编辑和内容处理领域。
AI 导读Manga2Animate提出了一种多智能体框架，通过将漫画动画生成任务分解为动画脚本和视觉分镜两个中间表示，每个表示由创作者智能体生成并由配对的审查者智能体对照原漫画面板进行审核，最终合成忠实于原漫画且跨镜头一致的动画。实验和用户研究表明，该方法比现有技术更忠实于原漫画且跨镜头一致性更强。
AI 选稿理由解决了漫画动画生成中忠实于原作和保持故事连贯性的瓶颈，为动画制作提供了可复用的技术方案。
AI 导读研究提出参考引导的流匹配框架StreamingSwap，通过Joint Rec-ID Loss按噪声水平平衡身份监督与隐空间重建，并借助Face-RoI Generation和Short-Context Rollout Training减少空间token与时间上下文长度。同时发布1000小时电影级训练数据及200条短视频、200条长视频评测集HumanFaceVid。实验显示单张RTX 4090上可达20 FPS，最长10分钟视频稳定生成。
AI 选稿理由提出面向实时流式视频换脸的完整方法与配套数据集HumanFaceVid，在单卡RTX 4090上实现20 FPS、10分钟长视频稳定生成，属于可复用的视频生成方法进展。
AI 导读论文提出免训练方法SpecKCast：对扩散模型输出做二维离散余弦变换，用轻量卡尔曼滤波按噪声调度导出的频带时间坐标跟踪各系数，仅当预测不确定性超阈值时才评估Transformer。在FLUX.1-dev、Qwen-Image、Wan2.1-14B和HunyuanVideo上，该方法在加速与保真度的权衡上优于现有缓存与预测方法，最高实现6倍加速，额外内存不足0.05 GiB。
AI 选稿理由提出免训练的频域卡尔曼预测方法，在四个图像/视频扩散模型上以不足0.05 GiB额外内存实现最高6倍加速，优于现有特征缓存与外推方法。
AI 导读研究团队发布PVBench，从7个领域、46个维度评估生成视频的物理合理性，覆盖指令与语义、行为因果、几何空间、材料与场状态、运动学及机械守恒等。基准含600条提示，其中30%涉及机械臂、人形、四足等具身智能体，并为可计算维度接入6D位姿、尺度、法线等专用视觉模型，避免只靠主观打分；同时支持文生视频与图生视频，并用人工评估校验自动指标。
AI 选稿理由提供了一个把物理合理性拆成可测量维度并配专用视觉模型的视频生成基准，公开600条提示与校准协议，适合评估视频模型而非只看画面观感。
AI 导读扩散式视频抠像受算力限制，每次只能处理6至24帧，跨分块边界易出现边缘闪烁和透明度不连续。VideoMaMa++把RGB与掩码作为独立Token流，经全时空自注意力自适应融合，并引入可学习的保留Token与细化Token，配合滑动窗口推理把已生成抠像传播到下一分块，同时用全局参考锚点防止长序列误差累积，无需额外训练。在标准基准和真实长视频上，其细节精度与时序一致性均优于此前扩散方法。
AI 选稿理由论文针对扩散视频抠像的分块不一致问题提出可复用方法，并在标准基准和长视频上报告了跨边界一致性结果，适合作为视频生成/编辑方向的技术简报。
AI 导读研究提出Temporal Chain of Video Primitives (TCoVP)，一种时空视频推理分割方法，将查询相关观察组织成时间顺序推理链，将实体引用与时间支持和时间戳空间证据关联，用于视频掩码预测。通过TCoVP-SFT-15k和TCoVP-RL-13k数据集进行监督微调和链对齐强化学习，在五个VRS基准测试和三个模型骨干上展示强大性能，所有模型和代码将公开。
AI 选稿理由解决了视频推理分割中语言推理与视觉证据之间的差距，通过时空推理链提升目标识别和掩码预测准确性
AI 导读研究提出 Painting Change Map，用 RGB 编码记录1000步内的归一化结构变化，同时控制“在哪画”和“何时画”，可引导正向绘制与反向“取消绘制”。基准测试中优于现有控制基线，与先进绘画方法持平或更好；在 oracle 条件下显著超过所有基线。代码已开源。
AI 选稿理由提出可精细控制绘画视频时空演变的新条件机制，并在标准基准上给出相对现有控制方法的量化比较，适用于数字艺术生成研究。
AI 导读UniAVC解决了现有方法依赖稀缺的成对数据集问题，采用分模态训练和独立噪声调度策略，实现了文本条件下的联合生成、双向跨模态生成和指令引导编辑。该模型支持意图感知编辑和推理后自我完善，无需任务特定适配器即可完成多种创作任务。
AI 选稿理由UniAVC突破了音视频创作中成对数据稀缺的限制，通过创新训练策略实现了高效跨模态耦合，为多媒体内容创作提供了新范式。
AI 导读研究者提出 PPMem，将平面基元作为视频世界模型的持久3D记忆，每个基元仅需7个参数。它在视频扩散Transformer上增加平面预测头和Depth Token Fusion模块，使自回归生成的每一段同时输出RGB视频与平面几何，并合并为持久平面记忆，通过渲染深度约束后续生成。该记忆比逐像素点云紧凑约三个数量级（约10万个基元、整场景5MB），且具备度量深度、法线和可导出表面。在DL3DV和RealEstate10K上，PPMem的视频质量优于此前的3D接地世界模型，并能在大视角变化下维持数百帧的连贯性。
AI 选稿理由用平面基元把视频世界模型的3D记忆压缩到约5MB并保留度量深度与可导出几何，为长视频生成和场景探索提供了更可扩展的记忆表示。
AI 导读研究者提出 MIST 评测，将“场景设置”与“应留下的记忆”分开检验，发现视频世界模型在记忆测试中失分主要因为未执行被指示的变更，而非遗忘。基于此提出 M3-Agent（Make the Missing Move），递归改写输入指令细节以促使模型执行指令，其 MIST reveal 得分相比基线提升三倍以上，WRBench 的 T 分数提升 26.1%，MBench-T 的 U 分数提升 52.7%。
AI 选稿理由把视频世界模型的“执行失败”与“记忆失败”拆开诊断，并给出可递归改写指令的 M3-Agent，使冻结模型在既有基准上显著提升，为世界模型评测与提示设计提供了可复用方法。
AI 导读研究团队推出OmniXRef框架，支持结合文本、图像和视频参考进行视频编辑。该框架采用统一输入设计和R²-RoPE技术，通过单流扩散Transformer处理源视频和多模态上下文。为解决训练数据稀缺问题，研究人员构建了OmniXRef-Data数据集，并引入课程学习逐步增加任务复杂度。同时发布OmniXRef-Bench基准测试，评估视频参考在不同属性上的转移效果。实验表明，OmniXRef-Model在性能上超越任务特定基线和商业模型。
AI 选稿理由OmniXRef解决了多模态参考视频编辑中统一处理不同类型参考的技术瓶颈，为视频创作者提供了更灵活、高效的编辑工具。
AI 导读针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系，现有评估指标多沿用早期单向简单任务，难以适用。作者提出以事件为中心的评估框架：在事件层面拆解音频与视觉事件，独立分析后用跨模态关系交叉验证，再聚合成由粗到细的三级一致性指标，涵盖全局叙事和谐、事件级时间同步与细粒度属性对齐。该指标实例化为可训练奖励模型 AVC-Reward，并构建 AVC-Benchmark。结果显示其在自动方法中与人类判断对齐最佳，可给出定位失败的可解释依据，作为在线强化学习信号还能提升联合生成模型的音视频一致性。
AI 选稿理由为复杂音视频生成场景提供了可训练的一致性奖励模型，既能自动评判并定位不一致，也可作为强化学习信号直接改善生成质量。
AI 导读论文提出Event-STVG任务，把时空视频定位从匹配实例描述转向事件级推理，统一长上下文、重复事件推理、事件定位、角色推断与多目标定位。作者构建含4,016个标注事件的基准，覆盖足球及另外七个领域；实验显示最强多模态大模型在10分钟时长上m-vIoU仅5.4%，且反复混淆同类型重复事件、空间定位薄弱、很少能同时定位全部所需角色。代码与标注已开源。
AI 选稿理由提出事件级时空定位新任务与4,016事件、八领域基准，给出最强MLLM在10分钟跨度仅5.4% m-vIoU的量化结果及三类失败模式，适用于视频理解评测研究。
AI 导读研究针对动态高斯表示在小而快速运动物体和高动态区域细纹理重建上的失败，指出瓶颈在于高斯原语分配的位置与时机。作者提出 Seed Injection 与 Temporal Biased Relocation 两种互补策略：前者用时序外观变化与重建误差定位欠重建区域，再通过多视角在几何合理位置初始化新高斯；后者用时间分辨优化信号引导迁移高斯的时空放置。两者都不增加高斯预算、不改底层表示，在多组动态场景数据集上提升了高动态区域的重建质量。
AI 选稿理由不增加高斯数量即可恢复小而快速运动物体与动态区域细节，可被动态三维重建、体积视频与实时渲染方向的研究者和工程实现复用。
AI 导读论文发现更大的双向块能提升视频质量并更好利用 GPU 并行，但传统交互式视频生成依赖小块以降低延迟。作者提出 Speculative Sampling：通过在建模窗口后附加噪声潜变量作填充，并缓存预测结果在条件不变时复用，兼顾大窗口的建模能力与小窗口的低延迟交互。预测增量交付，未提交的未来部分仍可替换。延迟分析显示该方法消除了块边界带来的等待时间下界，使双向窗口大小成为可联合优化视觉质量与采样时间的决策变量，而不再是低延迟交互的硬约束。
AI 选稿理由提出一种无需复杂流式后训练即可在交互式流式系统中部署大型双向视频生成模型的采样策略，消除了块边界等待下界，让窗口大小可同时优化画质与延迟，适合做实时视频生成服务与系统的团队参考。