Estamos entusiasmados por compartilhar os resultados da nossa colaboração com a SGLang. 🎉



Juntos, otimizámos a inferência do DeepSeek R1 para implementação no GB200 NVL72—oferecendo um aumento de 2x e 3x por GPU em comparação com clusters H100 quase duas vezes maiores.

É assim que parece a inferência MoE de fronteira.
LOOKS0.7%
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 6
  • Compartilhar
Comentário
0/400
WhaleWatchervip
· 16h atrás
A performance dobrou, incrível!
Ver originalResponder0
Rugpull幸存者vip
· 16h atrás
Está a falar de desempenho novamente, certo?
Ver originalResponder0
OnChainDetectivevip
· 16h atrás
hum, tracei essas métricas de gpu... algo não está batendo aqui
Ver originalResponder0
MetaverseVagabondvip
· 16h atrás
Caramba, finalmente consegui fazer o H100!
Ver originalResponder0
ClassicDumpstervip
· 16h atrás
又跟着Até à lua了吧
Ver originalResponder0
WhaleMinionvip
· 17h atrás
O desempenho da GPU explodiu.
Ver originalResponder0
Faça trade de criptomoedas em qualquer lugar e a qualquer hora
qrCode
Escaneie o código para baixar o app da Gate
Comunidade
Português (Brasil)
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)