Estamos entusiasmados por compartilhar os resultados da nossa colaboração com a SGLang. 🎉
Juntos, otimizámos a inferência do DeepSeek R1 para implementação no GB200 NVL72—oferecendo um aumento de 2x e 3x por GPU em comparação com clusters H100 quase duas vezes maiores.
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
8 gostos
Recompensa
8
6
Partilhar
Comentar
0/400
WhaleWatcher
· 16h atrás
A performance dobrou, incrível!
Ver originalResponder0
Rugpull幸存者
· 16h atrás
Está a falar de desempenho novamente, certo?
Ver originalResponder0
OnChainDetective
· 16h atrás
hum, tracei essas métricas de gpu... algo não está batendo aqui
Estamos entusiasmados por compartilhar os resultados da nossa colaboração com a SGLang. 🎉
Juntos, otimizámos a inferência do DeepSeek R1 para implementação no GB200 NVL72—oferecendo um aumento de 2x e 3x por GPU em comparação com clusters H100 quase duas vezes maiores.
É assim que parece a inferência MoE de fronteira.