背景 工作中经常需要评估模型性能，会涉及到GPU Kernel的耗时分析。网上关于GPU耗时的文章比较散，本文记录下日常用到的一些工具及使用过程中的坑，大多是使用经验，若有错误，还请不吝指出。 GPU耗时和CPU耗时有啥区别？ 在开始之前，我们需要了解GPU耗时和CPU耗时有啥区别？ 在默认情况下，CPU与GPU的执行逻辑是异步的。CPU中调用ke…