Hugging Face · 每日论文· 媒体 / 作者来源·精选
AVC-Reward:以事件为中心的音视频一致性评估与奖励模型
原文标题
AVC-Reward: Event-Centric Audio-Video Consistency Evaluation
AI 导读
针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系,现有评估指标多沿用早期单向简单任务,难以适用。作者提出以事件为中心的评估框架:在事件层面拆解音频与视觉事件,独立分析后用跨模态关系交叉验证,再聚合成由粗到细的三级一致性指标,涵盖全局叙事和谐、事件级时间同步与细粒度属性对齐。该指标实例化为可训练奖励模型 AVC-Reward,并构建 AVC-Benchmark。结果显示其在自动方法中与人类判断对齐最佳,可给出定位失败的可解释依据,作为在线强化学习信号还能提升联合生成模型的音视频一致性。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
为复杂音视频生成场景提供了可训练的一致性奖励模型,既能自动评判并定位不一致,也可作为强化学习信号直接改善生成质量。
导读由模型辅助整理,非独立核验。完整信息见原文。