|
|
|
頭銜:金融島總管理員 |
昵稱:花臉 |
發(fā)帖數(shù):64914 |
回帖數(shù):2132 |
可用積分?jǐn)?shù):15883241 |
注冊日期:2011-01-06 |
最后登陸:2024-10-24 |
|
主題:馬斯克開源Grok-1 迄今最大參數(shù)模型
中國證券報 當(dāng)?shù)貢r間3月17日,埃隆·馬斯克的人工智能公司xAI開源Grok-1的基本模型權(quán)重和網(wǎng)絡(luò)架構(gòu),該模型是社交媒體平臺X上Grok聊天機(jī)器人的基礎(chǔ)。
據(jù)xAI介紹,Grok-1是一個3140億個參數(shù)的預(yù)訓(xùn)練模型,“沒有針對任何特定任務(wù)進(jìn)行微調(diào)”。這使得Grok-1成為當(dāng)前參數(shù)量最大的開源大語言模型。
據(jù)介紹,目前開源的網(wǎng)絡(luò)架構(gòu)部分包括如何安排和連接各層和節(jié)點(diǎn)來處理數(shù)據(jù)?;灸P蜋?quán)重是某個特定模型的架構(gòu)中的參數(shù),這些參數(shù)在訓(xùn)練期間已經(jīng)過調(diào)整,編碼學(xué)習(xí)到的信息,并決定如何將輸入數(shù)據(jù)轉(zhuǎn)換成輸出。
技術(shù)分析師認(rèn)為,與Gemma和Llama等一些使用方面有限制的開源版本模型不同,Grok的開源版本提供了對底層技術(shù)的廣泛訪問。然而,它的全面透明度方面又不如Pythia、Bloom和 OLMo等模型,這些模型包括訓(xùn)練代碼和用于訓(xùn)練模型的數(shù)據(jù)集。
【免責(zé)聲明】上海大牛網(wǎng)絡(luò)科技有限公司僅合法經(jīng)營金融島網(wǎng)絡(luò)平臺,從未開展任何咨詢、委托理財業(yè)務(wù)。任何人的文章、言論僅代表其本人觀點(diǎn),與金融島無關(guān)。金融島對任何陳述、觀點(diǎn)、判斷保持中立,不對其準(zhǔn)確性、可靠性或完整性提供任何明確或暗示的保證。股市有風(fēng)險,請讀者僅作參考,并請自行承擔(dān)相應(yīng)責(zé)任。
|