Мы рады поделиться результатами нашего сотрудничества с SGLang. 🎉
Вместе мы оптимизировали вывод DeepSeek R1 для развертывания на GB200 NVL72 — что обеспечило увеличение производительности на 2x и 3x на GPU по сравнению с кластерами H100 почти в два раза большими.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
8 Лайков
Награда
8
6
Поделиться
комментарий
0/400
WhaleWatcher
· 16ч назад
Производительность снова удвоилась, впечатляет!
Посмотреть ОригиналОтветить0
Rugpull幸存者
· 16ч назад
Опять прокручивается производительность, да?
Посмотреть ОригиналОтветить0
OnChainDetective
· 16ч назад
хм, я проследил за этими метриками GPU... что-то здесь не сходится
Мы рады поделиться результатами нашего сотрудничества с SGLang. 🎉
Вместе мы оптимизировали вывод DeepSeek R1 для развертывания на GB200 NVL72 — что обеспечило увеличение производительности на 2x и 3x на GPU по сравнению с кластерами H100 почти в два раза большими.
Вот как выглядит фронтовое MoE инференс.