ATEST:按当前GPU负载动态调整测试时采样预算
AI 导读论文指出同一四样本查询在GPU负载升高时能耗可增至4.1倍,因此提出ATEST,把追加样本的预期收益与当前GPU成本一起纳入停止判断。默认的Online模式无需离线校准,在线学习每步能耗;在Phi-3-mini与A100的四个数据集上均未超能耗预算,GSM8K高负载下准确率60.0%且无转交,对比Calibrated的44.0%。
AI 选稿理由给出了按实时GPU能耗动态停止采样的方法与受控负载下的量化结果,实验限于Phi-3-mini、Qwen2.5-3B和两款英伟达GPU。