
CUDA培訓
CUDA入門
1. CUDA 簡介
2. CUDA kernel函數(shù),warp,線程組織
3. 系統(tǒng)架構(gòu)
4. 內(nèi)存映射
5. CUDA三步式編程結(jié)構(gòu)
在CUDA-GDB中理解CUDA
1. CUDA-GDB 基本用法
2. 觀察GPU寄存器
3. 觀察錯誤信息
4. 從GPU上打印信息
5. 試驗:編譯和調(diào)試向量乘法程序
使用NSight調(diào)試CUDA程序
1. NSight簡介,安裝和設置環(huán)境信息
2. 在CUDA info窗口觀察計算狀態(tài)
3. 試驗:編譯和調(diào)試矩陣向量乘法程序
4. 試驗:使用Nsight調(diào)試CUDA程序
使用CUDA profiler 優(yōu)化CUDA程序
1. 測量GPU時間,nvprof,命令行選項
2. 分析熱點,采樣視圖
3. 內(nèi)存優(yōu)化,共享內(nèi)存
4. 試驗:使用nvprof優(yōu)化CUDA程序
GPU深度學習的應用
深度學習GPU解決方案:
基于GPU的交互式深度學習訓練平臺:DIGITS;
深度學習框架的GPU加速:TensorFlow,Caffe等;
NVIDIA深度學習SDK:cuDNN,TensorRT,NCCL;
深度學習顯卡選擇;
OpenACC并行編程
OpenACC上機實戰(zhàn):Helloworld
OpenACC四步開發(fā)流程:判斷并行性,并行化表達,顯式數(shù)據(jù)傳遞,優(yōu)化
判斷并行性:Profile工具pgprof
并行化表達:引導關(guān)鍵字Kernerls和Parallel Loop
顯式管理數(shù)據(jù)的拷貝:引導關(guān)鍵字Data
OpenCL并行編程
OpenCL:編程模型,存儲模型
生態(tài)(覆蓋intel,amd,nvidia,移動端arm)
CUDA vs OpenCL
OpenCL向哪里走
AMD ROCM HC/HIP編程
AMD并行編程
AMD生態(tài)
hipify轉(zhuǎn)換
HC/HIP編程
HIP vs OpenCL