背景 在运行kernel时，需要设置kernel的Grid、Block值，我们一般都希望充分利用GPU的资源，达到最优性能。那么有如下问题： Grid、Block与SM占用率是什么关系？ 如果想性能最优，该如何设置Grid、Block值？ Grid、Block与SM占用率的关系 既然要探索二者的关系，直接写代码实验即可，有以下代码： #includ…

背景 做GPU性能优化时，一种思路是先找到GPU占用率低的环节，然后做针对性优化，把GPU占用率提上去，那么问题就来了： 哪些指标可以表征GPU占用率？ 如何测量GPU的占用率？ nsys profile gpu-metrics-devices 一番搜索后，发现nsys从 2021.2.4开始profile时开始支持gpu-metrics-devi…

背景 文一，文二介绍了常用的GPU性能分析手段，聚焦单个kernel的耗时分析。而实际应用中，还可能需要统计多个kernel耗时数据，比如： kernel在不同时刻的耗时可能不一样，只观测一个具体kernel不够准确，所以需要统计kernel耗时分位值。 优化性能需要找到耗时大户，这就需要统计各种kernel的耗时占比。 解析Nsys SQLite…

背景 上文介绍了kernel常用的测量方法，而实际应用中，还会遇到其他的问题，比如： 1. 为什么同样的输入，测量的耗时存在较大差距？ 2. 怎样才能精确的测量kernel耗时？ 问题 我们看以下以下常见代码，仅仅做了linear操作： def test(): a_size = (20, 8192) b_size = (5120, 8192) ev…

背景 工作中经常需要评估模型性能，会涉及到GPU Kernel的耗时分析。网上关于GPU耗时的文章比较散，本文记录下日常用到的一些工具及使用过程中的坑，大多是使用经验，若有错误，还请不吝指出。 GPU耗时和CPU耗时有啥区别？ 在开始之前，我们需要了解GPU耗时和CPU耗时有啥区别？ 在默认情况下，CPU与GPU的执行逻辑是异步的。CPU中调用ke…

背景 最近看一些torch代码，有很多view操作，之前没深入了解，存在一些问题： view的参数该如何填写呢？ view后得到的tensor结果是怎样的呢？ view是如何将tensor进行映射的呢？ 本质上涉及到tensor元素在内存中的布局问题，所以就查了些资料，写下自己的理解。 什么是RowMajor/ColumnMajor？ 首先需要明确…

引言 不知道大家会不会有这样的一些时刻？面对别人的一番陈述后，脑子里没有具体的思路，觉得别人的观点有些不对，但又提不出问题，容易被人牵着走。比如工作中，面对领导的任务，同事的方案；在生活中，销售的推销，网上的评论等等。 自己在很多时候也会出现这样的问题，一直在找好的解决办法。前段时间，读完了《学会提问》这本书，颇有收益。这是一本关于批判性思维的书，…

为什么需要对struct进行转换？ 一般而言，不同服务的协议，在生成桩代码后会放在不同仓库中。由于协议引用，相同的数据结构也会重新生成一份。而实践中，一些打包服务需要将上游的数据结构进行透传。由于数据结构所在包不同，被视为了不同的类型，所以无法直接赋值，此时就需要将上游的数据结构转换成当前服务response中的对应结构体。 现有的项目里也存在大量…

背景 一直以来，都对linux系统的理解都是在应用层面，看过了《UNIX环境高级编程》，对于系统中的一些模块的实现方法还缺乏深刻的认识，故想研究下Linux内核机制。 单纯阅读源码还是不如一步一步调试内核理解深刻，对于调试内核的方法，网上也有不少，主要是利用Qemu+GDB对内核进行调试，但网上的资料大多零散，步骤记录不够详细，笔者在实现过程中走了…

背景 最近，在看unix环境高级编程，第一章就讲了unix下的函数调用结构： 这图其实把结构表达的很清楚，但感觉还是有两个疑问： 库函数是具体是如何调用system call 不通过库函数，我们程序中如何调用system call 追溯 既然要探究库函数本质，那必然得看看库函数的源码，以最新版本的glibc 2.27为例吧 本来之前想从fgets入…