Ми раді поділитися результатами нашої співпраці з SGLang. 🎉
Разом ми оптимізували інференс DeepSeek R1 для розгортання на GB200 NVL72 — забезпечуючи збільшення продуктивності на 2x і 3x на один GPU в порівнянні з кластерами H100, які майже вдвічі більші.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
8 лайків
Нагородити
8
6
Поділіться
Прокоментувати
0/400
WhaleWatcher
· 16год тому
Продуктивність знову подвоїлася, круто!
Переглянути оригіналвідповісти на0
Rugpull幸存者
· 16год тому
Знову підвищується продуктивність, так?
Переглянути оригіналвідповісти на0
OnChainDetective
· 16год тому
хмм, відстежив ці метрики GPU... щось тут не сходиться
Ми раді поділитися результатами нашої співпраці з SGLang. 🎉
Разом ми оптимізували інференс DeepSeek R1 для розгортання на GB200 NVL72 — забезпечуючи збільшення продуктивності на 2x і 3x на один GPU в порівнянні з кластерами H100, які майже вдвічі більші.
Ось як виглядає інференція прикордонного MoE.