🔥 Gate 動態大使專屬發帖福利任務第三期報名正式開啓!🏆 第二期獲獎名單將於6月3日公布!
👉️ 6月3日 — 6月8日期間每日發帖,根據帖子內容評級瓜分 $300獎池
報名即可參與:https://www.gate.com/zh/questionnaire/6761
報名時間:6月3日10:00 - 6月8日 24:00 UTC+8
🎁 獎勵詳情:
一、S級周度排名獎
S級:每週7日均完成發帖且整體帖子內容質量分數>90分可獲S級,挑選2名優質內容大使每人$50手續費返現券。
二、A/B 等級瓜分獎
根據各位動態大使發帖數量及帖子內容質量獲評等級,按評定等級獲獎:
A級:每週至少5日完成發帖且整體帖子內容質量90>分數>80可獲A級,從A級用戶中選出5名大使每人$20手續費返現券
B級:每週至少3日完成發帖且整體帖子內容質量80>分數>60可獲B級,從B級用戶中選出10名大使每人$10手續費返現券
📍 活動規則:
1.每週至少3日完成發帖才有機會獲獎。
2.根據發帖天數和整體發帖內容質量分數給予等級判定,分爲S/A/B等級,在各等級下選擇幸運大使獲獎。
💡 帖子評分標準:
1.每帖不少於30字。
2.內容需原創、有獨立見解,具備深度和邏輯性。
3.鼓勵發布市場行情、交易知識、幣種研究等主題,使用圖例或視頻可提高評分。
4.禁止發布FUD、抄襲或詆毀內容,違規將取
Stability AI火速發布Llama 2微調模型FreeWilly,性能媲美ChatGPT!網友驚呼遊戲規則已改變
來源:新智元
Meta的Llama 2一發布,就引爆了整個開源社區。
正如OpenAI科學家Karpathy所說,對於整個大語言模型領域來說,這是極其重要的一天。在開放權重的所有模型中,Llama 2是最強大的一個。
從此,開源大模型與閉源大模型的差距將進一步縮小,構建大模型的機會,從此對所有開發者都是平等的。
就在剛剛,Stability AI和CarperAI實驗室聯合發布了基於LLaMA 2 70B模型的微調模型——FreeWilly2。
以及,基於LLaMA 65B原始模型微調的——FreeWilly1。
在各項基準測試中,FreeWilly2都展現出了卓越的推理能力,甚至有部分任務還超過了GPT-3.5。
這兩款模型都是研究實驗,並在非商業許可下發布。
數據生成與收集
Stability AI表示,FreeWilly模型的訓練是受到了微軟論文《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》的直接啟發。
不過,雖然數據生成過程類似,但來源卻有所不同。
FreeWilly的數據集變體包含有60萬個數據點(大約是原始Orca論文使用的數據集大小的10%),並通過使用Enrico Shippole創建的高質量指令數據集,對模型進行了引導:
COT 子混音原版
NIV2 Submix 原版
FLAN 2021 子混音原創
T0 子混音原創
通過這種方法,Stability AI使用了一個較簡單的LLM模型生成了50萬個示例,再使用一個更複雜的LLM模型生成了額外的10萬個示例。
儘管訓練樣本量僅為原始Orca論文的十分之一,但由此生成的FreeWilly模型,不僅在各種基準測試中都表現出色,而且也驗證了合成生成數據集方法的可行性。
模型性能的評估
在性能評估方面,Stability AI的研究人員採用了EleutherAI的lm--harness,並加入了AGI。
從結果來看,FreeWilly在很多方面都表現出色,包括複雜的推理、理解語言的微妙之處,以及回答與專業領域相關的複雜問題(如法律和數學問題解決)。
基本上,FreeWilly 2已經實現了與ChatGPT相當的水平,甚至在有些評測上更勝一籌。
可以看到,在Open LLM排行榜上,FreeWilly 2以絕對領先的優勢排在第一,平均得分比原始版的Llama 2高了4個百分點。
為了開放的未來
可以說,FreeWilly1和FreeWilly2為開源大語言模型樹立了新的標準。
這兩個模型的推出,不僅極大地推進了相關領域的研究,增強了自然語言理解能力,而且還支持複雜任務的完成。
Stability AI表示,團隊為這些模型能AI社區帶來的無限可能感到非常興奮,並期待著那些因它們而激發出全新應用。
此外,也衷心感謝充滿激情的研究人員、工程師和合作夥伴團隊,是他們的卓越努力和奉獻,使Stability AI能夠達到這一重要里程碑。
激動人心的時刻
模型一經發布,網友「Phil Howes」就利用Tuhin Srivastava的Llama v2框架,在不到一分鐘時間就完成了FreeWilly 2的實現。
經過275GB的權重加載後,模型的運行速度在開箱即用的情況下達到了23 token/s。