跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT
原文
Hugging Face Blog· 机构原始发布·· 5 天前

TorchNeuron 剖析(一):在 AWS Trainium 上做系统级性能分析

原文标题

Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.

AI 导读

教程从零介绍如何用 torch.profiler 配合 Neuron 后端抓取干净的性能轨迹,通过 key_averages() 表定位占用 Neuron 设备时间的 ATen 算子,并用 Neuron Explorer 追踪一次算子从框架分发、运行时调度到 NeuronCore 硬件执行的全过程。以 RMSNorm 为例对比三种实现:朴素逐算子约 2355 微秒、torch.rms_norm 约 403 微秒、torch.compile 约 376 微秒,后两者融合为单次内核调度,设备时间约为前者的六分之一。

来源:Hugging Face Blog · huggingface.co

导读说明

导读由模型辅助整理,非独立核验。完整信息见原文。