Ми раді поділитися результатами нашої співпраці з SGLang. 🎉



Разом ми оптимізували інференс DeepSeek R1 для розгортання на GB200 NVL72 — забезпечуючи збільшення продуктивності на 2x і 3x на один GPU в порівнянні з кластерами H100, які майже вдвічі більші.

Ось як виглядає інференція прикордонного MoE.
LOOKS0.7%
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 6
  • Поділіться
Прокоментувати
0/400
WhaleWatchervip
· 16год тому
Продуктивність знову подвоїлася, круто!
Переглянути оригіналвідповісти на0
Rugpull幸存者vip
· 16год тому
Знову підвищується продуктивність, так?
Переглянути оригіналвідповісти на0
OnChainDetectivevip
· 16год тому
хмм, відстежив ці метрики GPU... щось тут не сходиться
Переглянути оригіналвідповісти на0
MetaverseVagabondvip
· 16год тому
Ого, нарешті зробив H100!
Переглянути оригіналвідповісти на0
ClassicDumpstervip
· 16год тому
Знову полетіли, так?
Переглянути оригіналвідповісти на0
WhaleMinionvip
· 17год тому
Продуктивність GPU вибухнула, це точно
Переглянути оригіналвідповісти на0
  • Закріпити