跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

图像生成

全部主题
主题资料

AI 画图的最前线:文生图模型迭代、图像编辑能力与创作工具生态的全部动态。

40 篇文章

最新文章

第 21–40 条 · 共 40 条
10月19日周一
  1. Hugging Face · 每日论文

    DeOverlay:视频叠加物移除基准与源锚定流模型

    AI 导读DeOverlay提出了一种源锚定流模型,用于移除视频中的字幕、标题和logo等叠加物,同时保留周围内容。该模型通过区域加权流匹配训练共享速度网络,结合可见性归一化时间聚合和全局源上下文,实现场景重建。研究团队还创建了DVTE-Bench基准数据集,包含1631对视频和八类文本叠加物。实验显示,DeOverlay在五项重建和感知指标上均优于四个基线,Mask LPIPS和Mask VFID分别降低58.3%和70.3%。

    AI 选稿理由DeOverlay解决了视频叠加物移除中残留和场景结构扭曲的问题,通过源锚定流模型显著提升重建质量,适用于视频编辑和内容处理领域。

  2. Hugging Face · 每日论文

    ActionRoPE: 将动作作为平面相机游戏世界模型的坐标实现空间一致性控制

    AI 导读针对平面相机游戏世界模型中动作控制的空间一致性问题,研究者提出ActionRoPE参数化动作接口,将动作驱动的相机位移转换为世界坐标旋转位置,并引入坐标条件噪声调度(CNS)算法。该方法使遵循指令运动更准确,比最强基线减少66%的重访漂移,且可跨1.3B至33B参数的视频骨干模型及分布外场景迁移。

    AI 选稿理由解决了平面相机游戏世界模型中动作控制的空间一致性问题,通过坐标表示和噪声调度显著提高了运动准确性和生成稳定性。

  3. Hugging Face · 每日论文

    Any 3D Scene is Worth 1K Tokens: 3D-Grounded Representation for Scene Generation at Scale

    AI 导读研究人员提出了一种直接在高维隐式3D潜在空间中进行场景生成的方法,利用2D基础模型(如DINOv2、SigLIP2、DA3)构建3D潜在表示,并通过扩散变换器在3D潜在空间中执行扩散建模。实验表明,该方法在效率和空间一致性方面优于基于2D的方法,并验证了3D潜在表示对场景生成性能的可扩展性影响。

    AI 选稿理由解决了3D场景生成中2D表示导致的冗余和空间一致性问题,为大规模3D场景生成提供了更高效、更一致的新方法。

  4. Hugging Face · 每日论文

    StreamingSwap:20FPS实时视频换脸,单卡RTX 4090可稳定生成10分钟长视频

    AI 导读研究提出参考引导的流匹配框架StreamingSwap,通过Joint Rec-ID Loss按噪声水平平衡身份监督与隐空间重建,并借助Face-RoI Generation和Short-Context Rollout Training减少空间token与时间上下文长度。同时发布1000小时电影级训练数据及200条短视频、200条长视频评测集HumanFaceVid。实验显示单张RTX 4090上可达20 FPS,最长10分钟视频稳定生成。

    AI 选稿理由提出面向实时流式视频换脸的完整方法与配套数据集HumanFaceVid,在单卡RTX 4090上实现20 FPS、10分钟长视频稳定生成,属于可复用的视频生成方法进展。

  5. Hugging Face · 每日论文

    SpecKCast:用频域卡尔曼滤波加速扩散模型推理

    AI 导读论文提出免训练方法SpecKCast:对扩散模型输出做二维离散余弦变换,用轻量卡尔曼滤波按噪声调度导出的频带时间坐标跟踪各系数,仅当预测不确定性超阈值时才评估Transformer。在FLUX.1-dev、Qwen-Image、Wan2.1-14B和HunyuanVideo上,该方法在加速与保真度的权衡上优于现有缓存与预测方法,最高实现6倍加速,额外内存不足0.05 GiB。

    AI 选稿理由提出免训练的频域卡尔曼预测方法,在四个图像/视频扩散模型上以不足0.05 GiB额外内存实现最高6倍加速,优于现有特征缓存与外推方法。

  6. Hugging Face · 每日论文

    Swift:用早期弱模型外推目标,少一半算力训练扩散模型

    AI 导读研究提出自引导训练法 Swift,冻结一个早期检查点的弱去噪器,把干净回归目标朝远离其预测的方向外推,放大欠拟合分量;主模型不反传、推理不加引导。CIFAR-10 与 ImageNet-256 上跨模型规模均有提升,某 ImageNet-256 配置下用约一半总训练算力超过基线最佳 FID;RAEv2 上无引导 FID 1.15、加引导 0.99。作者给出 RKHS 有限时间梯度流谱分析,证明适当外推强度可降低后验均值误差。

    AI 选稿理由给出无需推理开销的扩散训练新方法与理论、实验证据,属可复用训练方法但尚待更大规模验证。

  7. Hugging Face · 每日论文

    EgoXperience:从人类经验学习以自我为中心的世界基础表示

    AI 导读研究团队提出EgoXperience全栈范式,通过数据收集、自动标注、统一建模和基准测试解决自我中心视频重建中的一致性问题。核心EgoX-Engine引擎结合几何验证的目标跟踪与SLAM世界对齐,生成EgoX-Data-6M数据集(50小时任务驱动操作与移动数据)和EgoX-Bench基准。EgoX模型在单目自我中心视频和首帧目标掩码下,通过单次前向传播实现相机、场景、手部和物体的联合度量重建,实验显示在场景估计和世界空间手-物体姿态恢复方面达到最先进性能。

    AI 选稿理由解决了自我中心视频重建中多元素一致性的瓶颈,为AR/VR和机器人操作提供高精度世界坐标框架重建能力。

  8. Hugging Face · 每日论文

    InfiniDream:通过程序生成实现开放式的逼真3D世界

    AI 导读研究团队提出InfiniDream框架,结合视觉语言模型与程序生成技术,实现了开放式的逼真3D世界生成。该框架包含符号约束资产生成和端到端文本到世界管道,可在保持可编辑性和多样性的同时创建新型资产,并通过语义场景规划和确定性视锥引导网格放置构建大规模3D世界。在100个对象和20个场景生成任务中,该框架在四个感知指标上表现优异。

    AI 选稿理由解决了现有VLM引导的程序生成方法受限于预定义工厂和API的问题,使AI能够创建新型逼真3D资产和世界,适用于游戏开发和合成数据创建。

  9. Hugging Face · 每日论文

    无需语言预训练的文本到图像生成模型

    AI 导读现代文本到图像(T2I)系统使用大规模语言预训练进行文本条件图像生成。本文提出Halcyon,一种早期融合的多模态自回归模型,完全从零开始在GPIC数据集上预训练,该数据集包含100M图像-文本对。Halcyon-0.52B在预训练计算量上比LlamaGen-XL/8少18.2倍,性能优于后者。Halcyon-1.6B在预训练计算量上比JiT-T2I-XXL/8++少275倍,性能也优于后者。控制实验表明,仅文本预训练不会提高T2I生成。Halcyon通过替换caption dropout为I2T监督,在不增加预训练预算的情况下,也能保持有竞争力的T2I生成质量。研究表明,强大的T2I系统可以在没有互联网规模语言预训练的情况下从头开始训练。代码和模型可在https://cs.stanford.edu/~keshik/halcyon获取。

    AI 选稿理由展示了无需大规模语言预训练即可训练强大的文本到图像生成系统,降低了预训练计算需求。

10月18日周日
  1. Hugging Face · 每日论文

    MT Forcing:基于自回归扩散的多轮图像编辑稳定性与一致性研究

    AI 导读多轮图像编辑旨在根据一系列指令修改图像,以实现更有效的交互式视觉内容创作。然而,现有方法在经过几次编辑后往往会出现明显的漂移,表现为视觉质量不稳定和图像内容不一致。为了解决这些问题,研究人员提出了MT Forcing,这是一种基于自回归扩散和统一多模态模型(UMMs)的新型多轮图像编辑训练范式。具体来说,他们提出了单轮分布匹配蒸馏(Single-Turn DMD),通过一个在单轮中对源图像进行累积编辑的教师来监督学生的自滚动,提供视觉质量指导,避免递归错误累积。此外,他们还引入了教师强制指导,在预热期间监督参考轨迹上的历史依赖转换,并在蒸馏期间作为正则化器,鼓励跨轮内容一致性。广泛的实验表明,这种方法显著提高了UMMs的多轮图像编辑能力,实现了更稳定的视觉质量和更强的跨轮一致性。

    AI 选稿理由MT Forcing通过引入新的训练范式和指导策略,解决了多轮图像编辑中的视觉质量不稳定和内容不一致的问题,提高了UMMs的多轮图像编辑能力。

  2. Hugging Face · 每日论文

    Painting Change Map:用时空变化图引导AI生成绘画过程

    AI 导读研究提出 Painting Change Map,用 RGB 编码记录1000步内的归一化结构变化,同时控制“在哪画”和“何时画”,可引导正向绘制与反向“取消绘制”。基准测试中优于现有控制基线,与先进绘画方法持平或更好;在 oracle 条件下显著超过所有基线。代码已开源。

    AI 选稿理由提出可精细控制绘画视频时空演变的新条件机制,并在标准基准上给出相对现有控制方法的量化比较,适用于数字艺术生成研究。

  3. Hugging Face · 每日论文

    FineSplat: 细粒度图像块与局部分组提升3D高斯飞溅重建质量

    AI 导读研究团队提出FineSplat框架,通过细粒度图像块和双分组策略解决前馈3D高斯飞溅在精细几何和外观恢复上的难题。该方法结合视图分组和3D空间分组,利用重建误差作为反馈信号,在保持高效紧凑的同时显著提升了重建质量,在相同或更少高斯数量预算下达到最先进水平。

    AI 选稿理由解决了前馈3D重建中精细细节恢复的瓶颈,为实时高质量场景重建提供了新方案,适用于VR/AR和数字孪生等领域。

10月17日周六
  1. Hugging Face · 每日论文

    LayerEditor:通过组合编辑先验蒸馏实现图像编辑为可重用层

    AI 导读研究团队提出LayerEditor框架,将指令引导的图像编辑与可重用RGBA层的可控生成相结合。该框架通过上下文RGB-Alpha令牌建模在同一令牌序列中表示编辑画布和有序RGB-Alpha层,并引入组合编辑先验蒸馏方法,保持预训练模型的编辑能力。研究团队还构建了LayerEditor-100K数据集和专用基准测试,实验证明LayerEditor在保持强编辑保真度的同时能生成准确的RGBA层,支持灵活的层级操作和多层分解。

    AI 选稿理由LayerEditor首次实现了图像编辑与可重用RGBA层的统一框架,通过组合编辑先验蒸馏保持编辑能力,并提供了大规模数据集和专用基准测试。

  2. Hugging Face · 每日论文

    UniAVC:通过渐进训练和非对称调度实现统一音视频创作

    AI 导读UniAVC解决了现有方法依赖稀缺的成对数据集问题,采用分模态训练和独立噪声调度策略,实现了文本条件下的联合生成、双向跨模态生成和指令引导编辑。该模型支持意图感知编辑和推理后自我完善,无需任务特定适配器即可完成多种创作任务。

    AI 选稿理由UniAVC突破了音视频创作中成对数据稀缺的限制,通过创新训练策略实现了高效跨模态耦合,为多媒体内容创作提供了新范式。

10月16日周五
  1. Hugging Face · 每日论文

    MOSS-Image 技术报告:5B 开源文生图模型,长文本渲染覆盖率达 96.3%

    AI 导读MOSS-Image 是一个开源生成系统,从零预训练 5B 单流扩散 Transformer(DiT),支持中英双语长文本渲染与精确布局控制;同时提出意图感知的 Agent 式提示增强模块,将用户请求转为内容与布局规格。作者还发布 LongLongTextBench 与 RealLayoutArena 两个评测基准:MOSS-Image 在 LLTB 上开源模型第一,平均文本覆盖率 96.3%;在 RLA 端到端系统对比中排第二,其骨干模型在使用统一增强提示的生成器对比中排第一。团队表示将公开模型、训练配方与评测框架。

    AI 选稿理由开源权重文生图模型在密集文字和复杂版式上长期落后于闭源系统,该工作给出了可复现的 5B 预训练配方和两个长文本/布局评测基准,96.3% 的文本覆盖率让海报、图表类图文生成更接近可直接使用。

  2. Hugging Face · 每日论文

    LILIE:用语言信息损失改进视觉生成,JiT 模型 gFD 降低 14 点

    AI 导读论文提出 LILIE(语言信息无损图像编码器),一种可逆图像变换,通过归一化流 Transformer 与视觉-语言模型联合训练,使 VLM 能从加噪特征中恢复描述文本。研究者用 LILIE 损失训练 JiT 模型,在 GPIC 数据集上相比纯像素损失基线将 gFD 从 66.84 降至 53.01。代码、编码器与生成模型已开源。

    AI 选稿理由提出语言信息监督的可逆图像编码器 LILIE,在 GPIC 数据集上将 JiT 模型 gFD 从 66.84 降至 53.01,相比像素损失基线降低 14 点,并开源代码与模型。

10月15日周四
  1. Hugging Face · 每日论文

    ACEdit: 通过非对称条件实现稳定的多轮图像编辑

    AI 导读研究团队提出ACEdit方法,解决了多轮图像编辑中质量逐渐下降的问题。该方法通过自强制训练方案和教师-学生非对称条件机制,使编辑器能够在累积分布偏移下保持稳定,实验证明其在长序列编辑中显著减少了质量退化,同时保持了编辑质量和指令遵循能力。

    AI 选稿理由解决了多轮图像编辑中累积分布偏移导致质量下降的瓶颈,为实际应用提供稳定的多轮编辑能力。

  2. Hugging Face · 每日论文

    OmniXRef: 统一多模态多参考视频编辑框架

    AI 导读研究团队推出OmniXRef框架,支持结合文本、图像和视频参考进行视频编辑。该框架采用统一输入设计和R²-RoPE技术,通过单流扩散Transformer处理源视频和多模态上下文。为解决训练数据稀缺问题,研究人员构建了OmniXRef-Data数据集,并引入课程学习逐步增加任务复杂度。同时发布OmniXRef-Bench基准测试,评估视频参考在不同属性上的转移效果。实验表明,OmniXRef-Model在性能上超越任务特定基线和商业模型。

    AI 选稿理由OmniXRef解决了多模态参考视频编辑中统一处理不同类型参考的技术瓶颈,为视频创作者提供了更灵活、高效的编辑工具。

  3. Hugging Face · 每日论文

    ARC-SORT:自适应鲁棒补偿多目标跟踪技术

    AI 导读ARC-SORT是一种无需训练、实时运行的多目标跟踪算法,专为体育广播场景设计。该算法通过测量自身不确定性来决定行动,使用交互多模型卡尔曼滤波器为每个轨迹提供预测协方差,并将其转化为轨迹搜索区域。在SportsMOT和DanceTrack测试集上,该算法实现了81.82和62.1的HOTA分数,并在RTX 3060 GPU上以约50帧/秒的速度运行。

    AI 选稿理由ARC-SORT解决了体育视频中运动员快速移动和摄像机同时平移变焦带来的跟踪难题,通过自适应搜索区域和身份交换机制显著提高了跟踪精度。

  4. Hugging Face · 每日论文

    视觉生成能否扩展统一多模态模型的知识?

    AI 导读论文提出知识迁移探测(KTP)协议,通过图像生成训练向模型注入新知识,再用纯文本问答检验其可获取性。在七类知识和三个统一多模态模型上,视觉监督能直接但非均匀地迁移到语言能力。作者随后引入文本对齐与交错图文对齐,将生成与回答通过共享知识和交错响应连接;对部分实体的引导可在无问答监督下改善其他实体的知识获取。

    AI 选稿理由提出了可复用的KTP协议来量化视觉生成训练向语言知识的迁移,并给出对齐方法提升可获取性,为多模态训练数据与架构设计提供实验依据。