主題：馬斯克開(kāi)源Grok-1 迄今最大參數(shù)模型



中國(guó)證券報(bào)
當(dāng)?shù)貢r(shí)間3月17日，埃隆·馬斯克的人工智能公司xAI開(kāi)源Grok-1的基本模型權(quán)重和網(wǎng)絡(luò)架構(gòu)，該模型是社交媒體平臺(tái)X上Grok聊天機(jī)器人的基礎(chǔ)。

據(jù)xAI介紹，Grok-1是一個(gè)3140億個(gè)參數(shù)的預(yù)訓(xùn)練模型，“沒(méi)有針對(duì)任何特定任務(wù)進(jìn)行微調(diào)”。這使得Grok-1成為當(dāng)前參數(shù)量最大的開(kāi)源大語(yǔ)言模型。

據(jù)介紹，目前開(kāi)源的網(wǎng)絡(luò)架構(gòu)部分包括如何安排和連接各層和節(jié)點(diǎn)來(lái)處理數(shù)據(jù)。基本模型權(quán)重是某個(gè)特定模型的架構(gòu)中的參數(shù)，這些參數(shù)在訓(xùn)練期間已經(jīng)過(guò)調(diào)整，編碼學(xué)習(xí)到的信息，并決定如何將輸入數(shù)據(jù)轉(zhuǎn)換成輸出。

技術(shù)分析師認(rèn)為，與Gemma和Llama等一些使用方面有限制的開(kāi)源版本模型不同，Grok的開(kāi)源版本提供了對(duì)底層技術(shù)的廣泛訪(fǎng)問(wèn)。然而，它的全面透明度方面又不如Pythia、Bloom和 OLMo等模型，這些模型包括訓(xùn)練代碼和用于訓(xùn)練模型的數(shù)據(jù)集。

【免責(zé)聲明】上海大牛網(wǎng)絡(luò)科技有限公司僅合法經(jīng)營(yíng)金融島網(wǎng)絡(luò)平臺(tái)，從未開(kāi)展任何咨詢(xún)、委托理財(cái)業(yè)務(wù)。任何人的文章、言論僅代表其本人觀(guān)點(diǎn)，與金融島無(wú)關(guān)。金融島對(duì)任何陳述、觀(guān)點(diǎn)、判斷保持中立，不對(duì)其準(zhǔn)確性、可靠性或完整性提供任何明確或暗示的保證。股市有風(fēng)險(xiǎn)，請(qǐng)讀者僅作參考，并請(qǐng)自行承擔(dān)相應(yīng)責(zé)任。