跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
中文动态

#搜索.

正在确认更新状态可见页面每分钟只读检查
10月21日周三
  1. Hugging Face · 每日论文

    研究:通用视觉语言模型可用单选决策做多模态重排序

    AI 导读论文提出把多模态重排序视为“系统一”式单选决策:让通用 VLM 对第一阶段检索的前 16 个候选做一次单选,排序依据是单次前向计算中候选项标签的概率。在 MMEB-V2 图像检索上,该做法比逐候选是/否提问高 5.4–7.3 hit@1。零样本 Qwen3.8-27B 在三个基准上超过监督式 Qwen3-VL-Reranker-2B,并在每个基准上距 Reranker-8B 不超过 1.6 分;其延迟为后者的 1.1–1.5 倍。作者也指出,模型规模和代际差异会混淆对比结果。

    AI 选稿理由给出可复用的多模态重排序方法及 MMEB-V2 等基准的具体增益与延迟数据,并说明模型规模与代际差异会影响对比结论。

10月20日周二
  1. Hugging Face · 每日论文

    AdaExploreBench:评估LLM代理在动态环境中的主动探索和测试时自适应能力

    AI 导读针对大型语言模型(LLM)代理在未知和动态环境中需要主动探索、理解和适应环境动态的问题,研究人员提出了AdaExploreBench,一个用于评估主动探索和测试时自适应能力的基准。实验表明,主动和自适应的探索仍然具有挑战性,当前LLM代理在获取正确证据和识别先前获取的证据不再有效方面存在瓶颈。

    AI 选稿理由解决了LLM代理在动态环境中主动获取证据和适应环境变化的瓶颈,有助于提升LLM代理在复杂环境中的表现。

10月19日周一
  1. Hugging Face · 每日论文

    OpenDS-World基准:评估AI代理在真实网络环境中的深度搜索能力

    AI 导读研究团队推出OpenDS任务和OpenDS-World基准,评估AI代理在真实开放网络环境中进行多步骤深度搜索的能力。该基准包含200个挑战性任务,涵盖多种信息模态、异构文件格式和交互访问要求。评估显示,最佳模型准确率为39.0%,而人类评估准确率为21.1%。研究揭示了模型在工具协调和长程搜索管理方面的持续挑战。

    AI 选稿理由OpenDS-World提供了首个系统评估AI代理在真实开放网络环境中自主深度搜索能力的统一平台,包含200个多模态、异构格式的挑战任务,并揭示了当前模型在工具协调和长程搜索管理方面的显著差距。

10月17日周六
  1. Hugging Face · 每日论文

    HSPR:通过分层后验推理恢复软件代理基准分数

    AI 导读评估软件代理在完整基准上的成本高昂。小任务子集可以保留代理排名,但会得到不准确的成绩。历史响应提供了有用的结构,但具有相同源响应的任务对于新目标代理可能会有不同的结果。本文介绍了分层分数后验恢复(HSPR),它结合了源拟合响应因素和不确定的群体成功率。观察到的目标结果更新了目标潜在状态和群体率的后验;后验引导的获取选择后续任务。其基于分数的标准等于预期的一步减少全分数后验方差。观察到的成功和未查询任务的先验预测计数产生了全分数后验。最终估计使用其中位数与源选择的校准。在SWE-bench家族的四个任务库的10%任务预算下,HSPR在三个库中实现了最低的平均绝对误差(MAE),在所有四个库中实现了最低的最大绝对误差(MaxErr)。移除群体不确定性或替换自适应查询会增加相应控制中的宏MAE。随着预算的5-20%增加,宏MAE下降。

    AI 选稿理由HSPR通过分层后验推理提高了软件代理基准分数的评估效率,降低了评估成本,适用于需要高效评估软件代理的场景。