跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
原文
Hugging Face · 每日论文· 媒体 / 作者来源·精选

AVC-Reward:以事件为中心的音视频一致性评估与奖励模型

原文标题

AVC-Reward: Event-Centric Audio-Video Consistency Evaluation

AI 导读

针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系,现有评估指标多沿用早期单向简单任务,难以适用。作者提出以事件为中心的评估框架:在事件层面拆解音频与视觉事件,独立分析后用跨模态关系交叉验证,再聚合成由粗到细的三级一致性指标,涵盖全局叙事和谐、事件级时间同步与细粒度属性对齐。该指标实例化为可训练奖励模型 AVC-Reward,并构建 AVC-Benchmark。结果显示其在自动方法中与人类判断对齐最佳,可给出定位失败的可解释依据,作为在线强化学习信号还能提升联合生成模型的音视频一致性。

来源:Hugging Face · 每日论文 · arxiv.org

导读与选稿说明

为复杂音视频生成场景提供了可训练的一致性奖励模型,既能自动评判并定位不一致,也可作为强化学习信号直接改善生成质量。

导读由模型辅助整理,非独立核验。完整信息见原文。