跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
中文动态

#图像生成.

正在确认更新状态可见页面每分钟只读检查
10月23日周五
  1. Hugging Face · 每日论文

    FilmFlow:面向3D虚拟电影摄影的智能体系统

    AI 导读研究团队提出FilmFlow框架,可将自然语言指令或参考视频转化为动态3D环境中的可执行相机轨迹。该系统由导演智能体和三个专业智能体(解释器、侦察员、评论员)组成,支持空间推理、时间协调和视觉构图。研究团队还创建了CinemaBench基准数据集,包含150个Blender场景和750个文本指导任务,FilmFlow在基准测试中表现最佳并获用户最高偏好。

    AI 选稿理由FilmFlow提供了将自然语言或视频参考转化为3D电影摄影轨迹的完整框架,并创建了专用基准数据集,适用于影视制作和虚拟内容创作领域。

  2. Hugging Face · 每日论文

    F2G-Pose:几何感知基础特征提升实现RGB-D类别级物体姿态估计

    AI 导读研究团队提出F2G-Pose框架,通过单次前向预测从RGB-D观测中直接估计物体3D姿态、度量尺寸和相机坐标系下的完整形状。该方法将密集视觉基础特征提升到部分点云,使用DGCNN标记编码局部几何,并通过专家混合Transformer整合物体级结构。在SOPE和ROPE基准上达到最先进精度,姿态推理速度达28 FPS,并在HouseCat6D和HANDAL数据集上展示了强几何性能和真实物体迁移能力。

    AI 选稿理由F2G-Pose实现了实时单次前向预测的类别级物体姿态估计,在保持高精度的同时解决了现有方法在可靠性和效率之间的平衡问题。

  3. Hugging Face · 每日论文

    AgentVQA:统一基准测试评估视觉语言模型在代理场景中的表现

    AI 导读研究团队推出AgentVQA基准,从23个数据集中精选1000个真实世界代理场景,涵盖Web代理、机器人、第一人称视频、游戏和空间规划五个领域。测试显示,22个模型中最佳准确率仅为58.5%,主要错误源于无法准确定位UI元素、解释运动、跟踪状态变化和推断3D空间关系,而非任务理解或逻辑推理问题。

    AI 选稿理由AgentVQA提供了首个跨领域代理视觉理解离线基准,解决了在线评估成本高、难以扩展的问题,为模型比较提供可靠依据。

  4. Hugging Face · 每日论文

    Verus-Insight:实现AI生成视频中可解释的伪影检测

    AI 导读研究团队提出Verus-Insight框架,将伪影检测系统化为检查规划、证据验证和证据聚合三个互补能力。该模型通过人类锚定的全过程监督和渐进式能力训练,在细粒度伪影分析和AI视频检测方面表现出色,显著提升了人类感知伪影的恢复能力。同时发布Verus-Bench基准,提供细粒度人类标注的感知伪影用于评估检测性能。

    AI 选稿理由Verus-Insight通过结构化三阶段能力设计,显著提升了AI生成视频中细粒度伪影检测的准确性和可解释性,适用于视频内容真实性验证领域。

  5. Hugging Face · 每日论文

    AnyGameRenderer:跨游戏实体一致生成渲染及实体级基准测试

    AI 导读研究团队提出AnyGameRenderer,一种视频到视频的生成渲染器,可将AI编程代理生成的简单游戏(如灰色块状、几何图形)转换为高质量视觉效果,同时保持布局、相机和每个实体的位置与时间不变。该模型通过LoRA微调MiniMax-H3 ref2va(33B参数)实现,支持多种游戏类型输入,并在实体级基准测试中,时间匹配率从50.9%提升至62.9%,漏检计数变化从34.7%降至21.3%。

    AI 选稿理由AnyGameRenderer解决了AI生成游戏视觉效果差的问题,通过实体一致渲染技术提升游戏质量,适用于多种游戏类型,并提供了新的实体级评估基准。

  6. Hugging Face · 每日论文

    FAPL:让多模态大模型潜变量真正控制电影级视频生成

    AI 导读研究提出 Factor-Aware Predictive Learning(FAPL),把有效利用 MLLM 潜变量作为共同前提,再用互补学习信号分别实现要素感知控制与稀疏输入下的时间推断。方法含三步:冻结 MLLM 仅靠潜变量训练 DiT;用成对视频做要素跨度替换;以文本、完整视频共享目标并冻结 DiT 反训 MLLM。实验在稀疏到视频、要素感知编辑和多镜头生成三个任务上均优于基线。

    AI 选稿理由论文给出让 DiT 真正利用 MLLM 潜变量、并同时控制角色/场景/动作/相机的三阶段训练方法,在三个电影级视频生成任务上验证有效。

  7. Hugging Face · 每日论文

    Easy-3Dfy:基于对象级几何组合的单图像3D场景构建

    AI 导读研究团队提出Easy-3Dfy工作流,将对象生成与场景布局估计解耦,通过RPF对齐器建立对象局部网格与场景点云之间的几何对应关系,无需完整场景级监督即可在Scene-Maker和3D-FUTURE200数据集上超越SAM-3Dfy的多个几何指标。

    AI 选稿理由Easy-3Dfy通过显式几何组合有效结合高质量对象生成与强空间理解能力,使工作流能独立受益于3D对象生成和基础模型的进步。

10月22日周四
  1. Hugging Face · 每日论文

    RealMe:从少量捕捉生成沉浸式体积视频

    AI 导读研究提出RealMe框架,通过高分辨率视频扩散模型将稀疏低分辨率捕捉增强为2K分辨率、4D一致的体积视频。该模型构建辅助数据并编码为潜在表示,采用分解时空注意力适应多视图捕捉布局,通过潜在频率损失减少生成视频与真实捕捉间的数据差距,在DNA-Rendering基准和自建RealVV数据集上实现视觉保真度和4D一致性超越现有方法。

    AI 选稿理由RealMe通过视频扩散模型和潜在频率损失解决了稀疏捕捉生成高质量体积视频的问题,适用于医疗、影视和VR等领域的内容创作。

  2. Hugging Face · 每日论文

    AW-0:整合代码规划与视频动作预测的智能体世界行动模型

    AI 导读研究团队推出AW-0框架,将代码规划、未来视频预测和机器人动作控制整合为三个耦合的生成流,在统一transformer架构中实现。通过代码专家生成参数化技能程序,视频和动作专家生成视觉状态和低级指令。在RoboTwin 2.0和双臂操作任务中,该模型在任务性能、语言遵循、语义推理和鲁棒性上超越VLA和WAM基线。

    AI 选稿理由AW-0首次将代码规划与视频动作预测整合为统一框架,实现了技能的复用和物理动态预测的结合,在机器人操作任务中展现出显著性能提升。

  3. Hugging Face · 每日论文

    ALPS:统一物理状态、语言对齐与像素重建的视觉状态编码器

    AI 导读研究者提出视觉状态编码器 ALPS,仅用静态图像与文本,以语言、重建和空间对应目标从零预训练 ViT-B/16,再用跨视角自蒸馏精调。在15个公开编码器的统一评测中,ALPS 的 LIBERO 状态探针聚合误差在 ViT-B 模型中最低,追平体积大3.5倍的 V-JEPA 2-L;冻结特征配合原生文本塔在 LIBERO 上策略平均成功率85.5%,在 PushT、Wall、Granular 的世界模型规划中持平或超过领先编码器,预测的未来 token 可直接解码成像素。

    AI 选稿理由提出一种同时具备物理状态、语言对齐和像素重建能力的视觉预训练编码器,在15个编码器对比中刷新ViT-B级状态探针误差,并报告LIBERO策略成功率与世界模型规划结果。

  4. Google Research

    Google Research用AI解读盲扫超声,孕龄评估误差4.18天与专家相当

    AI 导读Google Research在《JAMA Network Open》发表前瞻性多中心研究:让未受过超声培训的操作者用低成本便携探头按标准路径盲扫腹部,由AI估算孕龄。385名16–36周孕妇中,AI平均绝对误差4.18天,专家超声测量为4.48天;芝加哥适配后为4.10天,内罗毕零本地优化为4.27天。仅用芝加哥120人约6%训练集的数据微调即适配新探头,并将预测范围扩至36周以上。

    AI 选稿理由新增前瞻性多中心临床验证:AI盲扫孕龄评估在低资源与高资源场景均达到与专家操作非劣的4.18天平均误差,且仅需约6%数据微调即可换用新硬件。

10月21日周三
  1. Hugging Face · 每日论文

    SplatLab:3D高斯溅射研究的自主科学发现系统

    AI 导读SplatLab是一个针对3D高斯溅射(3DGS)的自主研究系统,能够复现已发表论文、提出扩展方案、训练模型并撰写论文。该系统在Mip-NeRF 360和LLFF数据集上,其生成的论文在PSNR指标上比复现目标高出+0.18至+3.78dB,其中在天文摄影星云渲染上提升3.78dB,且此前无3DGS方法能处理此类任务。研究周期从数月研究生工作缩短至数天自主计算完成。

    AI 选稿理由SplatLab实现了3DGS研究全流程自动化,在PSNR指标上显著超越复现目标,将研究周期从数月缩短至数天,并首次实现天文摄影星云渲染的3DGS方法。

  2. Hugging Face · 每日论文

    Any 3D Scene is Worth 1K Tokens: 3D-Grounded Representation for Scene Generation at Scale

    AI 导读研究人员提出了一种直接在高维隐式3D潜在空间中进行场景生成的方法,利用2D基础模型(如DINOv2、SigLIP2、DA3)构建3D潜在表示,并通过扩散变换器在3D潜在空间中执行扩散建模。实验表明,该方法在效率和空间一致性方面优于基于2D的方法,并验证了3D潜在表示对场景生成性能的可扩展性影响。

    AI 选稿理由解决了3D场景生成中2D表示导致的冗余和空间一致性问题,为大规模3D场景生成提供了更高效、更一致的新方法。

10月20日周二
  1. Hugging Face · 每日论文

    ActionRoPE: 将动作作为平面相机游戏世界模型的坐标实现空间一致性控制

    AI 导读针对平面相机游戏世界模型中动作控制的空间一致性问题,研究者提出ActionRoPE参数化动作接口,将动作驱动的相机位移转换为世界坐标旋转位置,并引入坐标条件噪声调度(CNS)算法。该方法使遵循指令运动更准确,比最强基线减少66%的重访漂移,且可跨1.3B至33B参数的视频骨干模型及分布外场景迁移。

    AI 选稿理由解决了平面相机游戏世界模型中动作控制的空间一致性问题,通过坐标表示和噪声调度显著提高了运动准确性和生成稳定性。

  2. Hugging Face · 每日论文

    无需语言预训练的文本到图像生成模型

    AI 导读现代文本到图像(T2I)系统使用大规模语言预训练进行文本条件图像生成。本文提出Halcyon,一种早期融合的多模态自回归模型,完全从零开始在GPIC数据集上预训练,该数据集包含100M图像-文本对。Halcyon-0.52B在预训练计算量上比LlamaGen-XL/8少18.2倍,性能优于后者。Halcyon-1.6B在预训练计算量上比JiT-T2I-XXL/8++少275倍,性能也优于后者。控制实验表明,仅文本预训练不会提高T2I生成。Halcyon通过替换caption dropout为I2T监督,在不增加预训练预算的情况下,也能保持有竞争力的T2I生成质量。研究表明,强大的T2I系统可以在没有互联网规模语言预训练的情况下从头开始训练。代码和模型可在https://cs.stanford.edu/~keshik/halcyon获取。

    AI 选稿理由展示了无需大规模语言预训练即可训练强大的文本到图像生成系统,降低了预训练计算需求。

  3. Hugging Face · 每日论文

    DeOverlay:视频叠加物移除基准与源锚定流模型

    AI 导读DeOverlay提出了一种源锚定流模型,用于移除视频中的字幕、标题和logo等叠加物,同时保留周围内容。该模型通过区域加权流匹配训练共享速度网络,结合可见性归一化时间聚合和全局源上下文,实现场景重建。研究团队还创建了DVTE-Bench基准数据集,包含1631对视频和八类文本叠加物。实验显示,DeOverlay在五项重建和感知指标上均优于四个基线,Mask LPIPS和Mask VFID分别降低58.3%和70.3%。

    AI 选稿理由DeOverlay解决了视频叠加物移除中残留和场景结构扭曲的问题,通过源锚定流模型显著提升重建质量,适用于视频编辑和内容处理领域。

  4. Hugging Face · 每日论文

    EgoXperience:从人类经验学习以自我为中心的世界基础表示

    AI 导读研究团队提出EgoXperience全栈范式,通过数据收集、自动标注、统一建模和基准测试解决自我中心视频重建中的一致性问题。核心EgoX-Engine引擎结合几何验证的目标跟踪与SLAM世界对齐,生成EgoX-Data-6M数据集(50小时任务驱动操作与移动数据)和EgoX-Bench基准。EgoX模型在单目自我中心视频和首帧目标掩码下,通过单次前向传播实现相机、场景、手部和物体的联合度量重建,实验显示在场景估计和世界空间手-物体姿态恢复方面达到最先进性能。

    AI 选稿理由解决了自我中心视频重建中多元素一致性的瓶颈,为AR/VR和机器人操作提供高精度世界坐标框架重建能力。

  5. Hugging Face · 每日论文

    InfiniDream:通过程序生成实现开放式的逼真3D世界

    AI 导读研究团队提出InfiniDream框架,结合视觉语言模型与程序生成技术,实现了开放式的逼真3D世界生成。该框架包含符号约束资产生成和端到端文本到世界管道,可在保持可编辑性和多样性的同时创建新型资产,并通过语义场景规划和确定性视锥引导网格放置构建大规模3D世界。在100个对象和20个场景生成任务中,该框架在四个感知指标上表现优异。

    AI 选稿理由解决了现有VLM引导的程序生成方法受限于预定义工厂和API的问题,使AI能够创建新型逼真3D资产和世界,适用于游戏开发和合成数据创建。

  6. Hugging Face · 每日论文

    真实数据驱动的场景文本编辑:TextRIRO模型实现高保真度文本修改

    AI 导读研究团队提出TextRIRO模型,通过破坏原始图像(如裁剪、打乱、遮盖)构建自配对训练数据,基于条件扩散架构实现场景文本编辑。实验表明,结合字符列打乱与图像裁剪的方法能有效破坏文本语义同时保留风格线索,在真实世界基准测试中取得准确性和视觉真实性的优异表现,并构建了TextRIRO-3M大规模长文本识别数据集。

    AI 选稿理由TextRIRO模型通过自配对真实数据训练,显著降低了合成到真实领域的差距,为场景文本编辑提供了更可靠、更实用的解决方案。

  7. Hugging Face · 每日论文

    Policy-Mask: 预算感知的扩散特征适应判别任务

    AI 导读研究团队提出Policy-Mask方法,通过预算条件策略联合选择时间步、网络块和通道子集,解决了冻结扩散模型特征选择难题。在分割、分类和语义对应任务中,该方法在相同预算下优于固定提取和特征过滤基线,在ADE20K上达到38.9 mIoU,CIFAR-100上达到75.4% top-1准确率,SPair-71k上达到76.3 PCK@0.1。研究发现256个保留通道是实际操作点,并将方法扩展到PixArt-Σ和SD3.5 MMDiT等扩散变压器。

    AI 选稿理由Policy-Mask通过联合优化特征选择参数,显著提升了扩散模型在判别任务中的性能,并确定了实际操作点。

  8. MIT News · AI 与行业突破

    MIT开发E(3)-Pose模型:利用对称性原理提升胎儿脑部MRI诊断可靠性

    AI 导读MIT、波士顿儿童医院和Inria研究人员开发了E(3)-Pose深度学习模型,通过将胎儿头部左右对称性原理融入神经网络架构,解决了胎儿在MRI扫描中移动导致的图像切片角度不一致问题。该模型能捕捉胎儿运动时的高分辨率头部图像,帮助放射科医生更准确诊断脑部异常,有望替代当前缓慢的手动胎儿脑部MRI扫描过程。

    AI 选稿理由解决了胎儿MRI扫描中因运动导致的图像不完整问题,通过物理原理嵌入模型提高诊断准确性,可应用于早期胎儿脑部异常检测。

10月19日周一
  1. Hugging Face · 每日论文

    StreamingSwap:20FPS实时视频换脸,单卡RTX 4090可稳定生成10分钟长视频

    AI 导读研究提出参考引导的流匹配框架StreamingSwap,通过Joint Rec-ID Loss按噪声水平平衡身份监督与隐空间重建,并借助Face-RoI Generation和Short-Context Rollout Training减少空间token与时间上下文长度。同时发布1000小时电影级训练数据及200条短视频、200条长视频评测集HumanFaceVid。实验显示单张RTX 4090上可达20 FPS,最长10分钟视频稳定生成。

    AI 选稿理由提出面向实时流式视频换脸的完整方法与配套数据集HumanFaceVid,在单卡RTX 4090上实现20 FPS、10分钟长视频稳定生成,属于可复用的视频生成方法进展。

  2. Hugging Face · 每日论文

    SpecKCast:用频域卡尔曼滤波加速扩散模型推理

    AI 导读论文提出免训练方法SpecKCast:对扩散模型输出做二维离散余弦变换,用轻量卡尔曼滤波按噪声调度导出的频带时间坐标跟踪各系数,仅当预测不确定性超阈值时才评估Transformer。在FLUX.1-dev、Qwen-Image、Wan2.1-14B和HunyuanVideo上,该方法在加速与保真度的权衡上优于现有缓存与预测方法,最高实现6倍加速,额外内存不足0.05 GiB。

    AI 选稿理由提出免训练的频域卡尔曼预测方法,在四个图像/视频扩散模型上以不足0.05 GiB额外内存实现最高6倍加速,优于现有特征缓存与外推方法。

  3. Hugging Face · 每日论文

    Swift:用早期弱模型外推目标,少一半算力训练扩散模型

    AI 导读研究提出自引导训练法 Swift,冻结一个早期检查点的弱去噪器,把干净回归目标朝远离其预测的方向外推,放大欠拟合分量;主模型不反传、推理不加引导。CIFAR-10 与 ImageNet-256 上跨模型规模均有提升,某 ImageNet-256 配置下用约一半总训练算力超过基线最佳 FID;RAEv2 上无引导 FID 1.15、加引导 0.99。作者给出 RKHS 有限时间梯度流谱分析,证明适当外推强度可降低后验均值误差。

    AI 选稿理由给出无需推理开销的扩散训练新方法与理论、实验证据,属可复用训练方法但尚待更大规模验证。

10月18日周日
  1. Hugging Face · 每日论文

    MT Forcing:基于自回归扩散的多轮图像编辑稳定性与一致性研究

    AI 导读多轮图像编辑旨在根据一系列指令修改图像,以实现更有效的交互式视觉内容创作。然而,现有方法在经过几次编辑后往往会出现明显的漂移,表现为视觉质量不稳定和图像内容不一致。为了解决这些问题,研究人员提出了MT Forcing,这是一种基于自回归扩散和统一多模态模型(UMMs)的新型多轮图像编辑训练范式。具体来说,他们提出了单轮分布匹配蒸馏(Single-Turn DMD),通过一个在单轮中对源图像进行累积编辑的教师来监督学生的自滚动,提供视觉质量指导,避免递归错误累积。此外,他们还引入了教师强制指导,在预热期间监督参考轨迹上的历史依赖转换,并在蒸馏期间作为正则化器,鼓励跨轮内容一致性。广泛的实验表明,这种方法显著提高了UMMs的多轮图像编辑能力,实现了更稳定的视觉质量和更强的跨轮一致性。

    AI 选稿理由MT Forcing通过引入新的训练范式和指导策略,解决了多轮图像编辑中的视觉质量不稳定和内容不一致的问题,提高了UMMs的多轮图像编辑能力。

  2. Hugging Face · 每日论文

    Painting Change Map:用时空变化图引导AI生成绘画过程

    AI 导读研究提出 Painting Change Map,用 RGB 编码记录1000步内的归一化结构变化,同时控制“在哪画”和“何时画”,可引导正向绘制与反向“取消绘制”。基准测试中优于现有控制基线,与先进绘画方法持平或更好;在 oracle 条件下显著超过所有基线。代码已开源。

    AI 选稿理由提出可精细控制绘画视频时空演变的新条件机制,并在标准基准上给出相对现有控制方法的量化比较,适用于数字艺术生成研究。

  3. Hugging Face · 每日论文

    FineSplat: 细粒度图像块与局部分组提升3D高斯飞溅重建质量

    AI 导读研究团队提出FineSplat框架,通过细粒度图像块和双分组策略解决前馈3D高斯飞溅在精细几何和外观恢复上的难题。该方法结合视图分组和3D空间分组,利用重建误差作为反馈信号,在保持高效紧凑的同时显著提升了重建质量,在相同或更少高斯数量预算下达到最先进水平。

    AI 选稿理由解决了前馈3D重建中精细细节恢复的瓶颈,为实时高质量场景重建提供了新方案,适用于VR/AR和数字孪生等领域。

10月17日周六
  1. Hugging Face · 每日论文

    LayerEditor:通过组合编辑先验蒸馏实现图像编辑为可重用层

    AI 导读研究团队提出LayerEditor框架,将指令引导的图像编辑与可重用RGBA层的可控生成相结合。该框架通过上下文RGB-Alpha令牌建模在同一令牌序列中表示编辑画布和有序RGB-Alpha层,并引入组合编辑先验蒸馏方法,保持预训练模型的编辑能力。研究团队还构建了LayerEditor-100K数据集和专用基准测试,实验证明LayerEditor在保持强编辑保真度的同时能生成准确的RGBA层,支持灵活的层级操作和多层分解。

    AI 选稿理由LayerEditor首次实现了图像编辑与可重用RGBA层的统一框架,通过组合编辑先验蒸馏保持编辑能力,并提供了大规模数据集和专用基准测试。

  2. Hugging Face · 每日论文

    UniAVC:通过渐进训练和非对称调度实现统一音视频创作

    AI 导读UniAVC解决了现有方法依赖稀缺的成对数据集问题,采用分模态训练和独立噪声调度策略,实现了文本条件下的联合生成、双向跨模态生成和指令引导编辑。该模型支持意图感知编辑和推理后自我完善,无需任务特定适配器即可完成多种创作任务。

    AI 选稿理由UniAVC突破了音视频创作中成对数据稀缺的限制,通过创新训练策略实现了高效跨模态耦合,为多媒体内容创作提供了新范式。

10月16日周五
  1. Hugging Face · 每日论文

    LILIE:用语言信息损失改进视觉生成,JiT 模型 gFD 降低 14 点

    AI 导读论文提出 LILIE(语言信息无损图像编码器),一种可逆图像变换,通过归一化流 Transformer 与视觉-语言模型联合训练,使 VLM 能从加噪特征中恢复描述文本。研究者用 LILIE 损失训练 JiT 模型,在 GPIC 数据集上相比纯像素损失基线将 gFD 从 66.84 降至 53.01。代码、编码器与生成模型已开源。

    AI 选稿理由提出语言信息监督的可逆图像编码器 LILIE,在 GPIC 数据集上将 JiT 模型 gFD 从 66.84 降至 53.01,相比像素损失基线降低 14 点,并开源代码与模型。

10月15日周四
  1. Hugging Face · 每日论文

    ACEdit: 通过非对称条件实现稳定的多轮图像编辑

    AI 导读研究团队提出ACEdit方法,解决了多轮图像编辑中质量逐渐下降的问题。该方法通过自强制训练方案和教师-学生非对称条件机制,使编辑器能够在累积分布偏移下保持稳定,实验证明其在长序列编辑中显著减少了质量退化,同时保持了编辑质量和指令遵循能力。

    AI 选稿理由解决了多轮图像编辑中累积分布偏移导致质量下降的瓶颈,为实际应用提供稳定的多轮编辑能力。

  2. Hugging Face · 每日论文

    OmniXRef: 统一多模态多参考视频编辑框架

    AI 导读研究团队推出OmniXRef框架,支持结合文本、图像和视频参考进行视频编辑。该框架采用统一输入设计和R²-RoPE技术,通过单流扩散Transformer处理源视频和多模态上下文。为解决训练数据稀缺问题,研究人员构建了OmniXRef-Data数据集,并引入课程学习逐步增加任务复杂度。同时发布OmniXRef-Bench基准测试,评估视频参考在不同属性上的转移效果。实验表明,OmniXRef-Model在性能上超越任务特定基线和商业模型。

    AI 选稿理由OmniXRef解决了多模态参考视频编辑中统一处理不同类型参考的技术瓶颈,为视频创作者提供了更灵活、高效的编辑工具。

  3. Hugging Face · 每日论文

    ARC-SORT:自适应鲁棒补偿多目标跟踪技术

    AI 导读ARC-SORT是一种无需训练、实时运行的多目标跟踪算法,专为体育广播场景设计。该算法通过测量自身不确定性来决定行动,使用交互多模型卡尔曼滤波器为每个轨迹提供预测协方差,并将其转化为轨迹搜索区域。在SportsMOT和DanceTrack测试集上,该算法实现了81.82和62.1的HOTA分数,并在RTX 3060 GPU上以约50帧/秒的速度运行。

    AI 选稿理由ARC-SORT解决了体育视频中运动员快速移动和摄像机同时平移变焦带来的跟踪难题,通过自适应搜索区域和身份交换机制显著提高了跟踪精度。

  4. Hugging Face · 每日论文

    视觉生成能否扩展统一多模态模型的知识?

    AI 导读论文提出知识迁移探测(KTP)协议,通过图像生成训练向模型注入新知识,再用纯文本问答检验其可获取性。在七类知识和三个统一多模态模型上,视觉监督能直接但非均匀地迁移到语言能力。作者随后引入文本对齐与交错图文对齐,将生成与回答通过共享知识和交错响应连接;对部分实体的引导可在无问答监督下改善其他实体的知识获取。

    AI 选稿理由提出了可复用的KTP协议来量化视觉生成训练向语言知识的迁移,并给出对齐方法提升可获取性,为多模态训练数据与架构设计提供实验依据。