🔥 Gate 動態大使專屬發帖福利任務第三期報名正式開啓!🏆 第二期獲獎名單將於6月3日公布!
👉️ 6月3日 — 6月8日期間每日發帖,根據帖子內容評級瓜分 $300獎池
報名即可參與:https://www.gate.com/zh/questionnaire/6761
報名時間:6月3日10:00 - 6月8日 24:00 UTC+8
🎁 獎勵詳情:
一、S級周度排名獎
S級:每週7日均完成發帖且整體帖子內容質量分數>90分可獲S級,挑選2名優質內容大使每人$50手續費返現券。
二、A/B 等級瓜分獎
根據各位動態大使發帖數量及帖子內容質量獲評等級,按評定等級獲獎:
A級:每週至少5日完成發帖且整體帖子內容質量90>分數>80可獲A級,從A級用戶中選出5名大使每人$20手續費返現券
B級:每週至少3日完成發帖且整體帖子內容質量80>分數>60可獲B級,從B級用戶中選出10名大使每人$10手續費返現券
📍 活動規則:
1.每週至少3日完成發帖才有機會獲獎。
2.根據發帖天數和整體發帖內容質量分數給予等級判定,分爲S/A/B等級,在各等級下選擇幸運大使獲獎。
💡 帖子評分標準:
1.每帖不少於30字。
2.內容需原創、有獨立見解,具備深度和邏輯性。
3.鼓勵發布市場行情、交易知識、幣種研究等主題,使用圖例或視頻可提高評分。
4.禁止發布FUD、抄襲或詆毀內容,違規將取
DeepSeek開源第三彈:V3/R1訓練推理關鍵祕籍
來源:量子位
開源周的第三天,DeepSeek把訓練推理V3/R1背後的“動力”給亮出來了——
DeepGEMM:一個FP8 GEMM(通用矩陣乘法)庫,支持密集(dense)和混合專家(MoE)矩陣乘法運算。
我們先來簡單瞭解一下GEMM。
GEMM,即通用矩陣乘法,是線性代數中的基本運算,是科學計算、機器學習、深度學習等領域中“常客”,也是許多高性能計算任務的核心。
但由於它的計算量往往都比較大,所以GEMM的性能優化是至關重要的一點。
而DeepSeek這次開源的DeepGEMM,依舊是保持了**“高性能+低成本”**的特性,亮點如下:
簡單來說,DeepGEMM主要用於加速深度學習中的矩陣運算,特別是在大規模模型訓練和推理中,它特別適用於需要高效計算資源的場景,能夠顯著提升計算效率。
很多網友們對這次的開源都比較“買單”,有人將DeepGEMM比作數學界的超級英雄,認為它比飛快的計算器還要快,比多項式方程還要強大。
也有人將DeepGEMM的發佈比喻為量子態穩定到一個新的現實,稱讚其即時編譯的乾淨利落。
當然……也有人開始擔心起自己手上的英偉達股票了……
深入瞭解DeepGEMM
DeepGEMM是一個專門為實現簡潔高效的FP8通用矩陣乘法(GEMMs)而打造的庫,它還具備細粒度縮放功能,這一設計源於DeepSeek V3。
它既能處理普通的通用矩陣乘法,也能支持MoE分組的通用矩陣乘法。
這個庫是用CUDA編寫的,安裝的時候不需要編譯,因為它會在運行時通過一個輕量級的即時編譯(JIT)模塊來編譯所有的內核程序。
目前,DeepGEMM只支持英偉達的Hopper張量核心。
為了解決FP8張量核心在計算累積時不夠精確的問題,它採用了CUDA核心的兩級累積(提升)方法。
雖然DeepGEMM借鑑了CUTLASS和CuTe裡的一些理念,但並沒有過度依賴它們的模板或代數運算。
相反,這個庫設計得很簡潔,只有一個核心內核函數,代碼量大概300行左右。
這使得它成為一個簡潔易懂的資源,方便大家學習Hopper架構下的FP8矩陣乘法和優化技術。
儘管其設計輕巧,但DeepGEMM的性能可以匹配或超過各種矩陣形狀的專家調優庫。
那麼具體性能如何呢?
團隊在H800上使用NVCC 12.8測試了DeepSeek-V3/R1推理中可能使用的所有形狀(包括預填充和解碼,但沒有張量並行)。
下面這張圖展示的是用於密集模型的普通DeepGEMM的性能:
從測試結果來看,DeepGEMM計算性能最高可達1358 TFLOPS,內存寬帶最高可達2668 GB/s。
加速比方面,與基於CUTLASS 3.6的優化實現相比,最高可達2.7倍。
再來看下DeepGEMM支持MoE模型的連續佈局(contiguous layout)的性能:
以及支持MoE模型掩碼佈局(masked layout)的性能是這樣的:
如何使用?
要想使用DeepGEMM,需先注意一下幾個依賴項,包括:
Development代碼如下:
安裝代碼如下:
在上述步驟之後,您的Python項目中導入deep_gemm即可。
在接口方面,對於普通的DeepGEMM,可調用deep_gemm.gemm_fp8_fp8_bf16_nt函數,支持NT格式(非轉置LHS和轉置RHS)。
對於分組的DeepGEMM,連續佈局情況下是m_grouped_gemm_fp8_fp8_bf16_nt_contiguous;掩碼佈局情況下是m_grouped_gemm_fp8_fp8_bf16_nt_masked。
DeepGEMM還提供設置最大SM數量、獲取TMA對齊大小等工具函數;支持環境變量,如DG_NVCC_COMPILER、DG_JIT_DEBUG等。
除此之外,DeepSeek團隊還提供了幾種優化的方式,包括:
感興趣的小夥伴可以戳文末GitHub鏈接查看詳情哦~
One More Thing
英偉達這幾天的股票……嗯……一直再跌:
不過在北京時間27日凌晨,英偉達2025財年第四季度業績報告也即將出爐,我們可以期待一下它的表現~