Chúng tôi rất vui mừng được chia sẻ kết quả của sự hợp tác với SGLang. 🎉
Chúng tôi đã tối ưu hóa suy diễn DeepSeek R1 cho triển khai trên GB200 NVL72—đem lại hiệu suất tăng gấp 2 và 3 lần trên mỗi GPU so với các cụm H100 gần gấp đôi kích thước.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
8 thích
Phần thưởng
8
6
Chia sẻ
Bình luận
0/400
WhaleWatcher
· 16giờ trước
Hiệu suất đã tăng gấp đôi rồi, thật tuyệt vời!
Xem bản gốcTrả lời0
Rugpull幸存者
· 16giờ trước
Lại đang cuốn hiệu suất phải không
Xem bản gốcTrả lời0
OnChainDetective
· 16giờ trước
hmm đã theo dõi những chỉ số gpu... có điều gì đó không khớp ở đây
Chúng tôi rất vui mừng được chia sẻ kết quả của sự hợp tác với SGLang. 🎉
Chúng tôi đã tối ưu hóa suy diễn DeepSeek R1 cho triển khai trên GB200 NVL72—đem lại hiệu suất tăng gấp 2 và 3 lần trên mỗi GPU so với các cụm H100 gần gấp đôi kích thước.
Đây là hình ảnh của suy luận MoE tiên phong.