月度归档: 2024 年 11 月

2 篇文章

如何优雅地测量GPU占用率?(nsys gpu-metrics-devices使用)
背景 做GPU性能优化时,一种思路是先找到GPU占用率低的环节,然后做针对性优化,把GPU占用率提上去,那么问题就来了: 哪些指标可以表征GPU占用率? 如何测量GPU的占用率? nsys profile gpu-metrics-devices 一番搜索后,发现nsys从 2021.2.4开始profile时开始支持gpu-metrics-devi…
如何优雅地测量GPU CUDA Kernel耗时?(三)- nsys统计kernel耗时
背景 文一,文二介绍了常用的GPU性能分析手段,聚焦单个kernel的耗时分析。而实际应用中,还可能需要统计多个kernel耗时数据,比如: kernel在不同时刻的耗时可能不一样,只观测一个具体kernel不够准确,所以需要统计kernel耗时分位值。 优化性能需要找到耗时大户,这就需要统计各种kernel的耗时占比。 解析Nsys SQLite…