Hugging Face · 每日论文· 媒体 / 作者来源·精选
ATEST：按当前GPU负载动态调整测试时采样预算
原文标题
ATEST: Adaptive Resource-Aware Test-Time Scaling for LLM Inference
AI 导读
论文指出同一四样本查询在GPU负载升高时能耗可增至4.1倍，因此提出ATEST，把追加样本的预期收益与当前GPU成本一起纳入停止判断。默认的Online模式无需离线校准，在线学习每步能耗；在Phi-3-mini与A100的四个数据集上均未超能耗预算，GSM8K高负载下准确率60.0%且无转交，对比Calibrated的44.0%。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
给出了按实时GPU能耗动态停止采样的方法与受控负载下的量化结果，实验限于Phi-3-mini、Qwen2.5-3B和两款英伟达GPU。
导读由模型辅助整理，非独立核验。完整信息见原文。