主題：馬斯克開源Grok-1 迄今最大參數(shù)模型



中國證券報
當(dāng)?shù)貢r間3月17日，埃隆·馬斯克的人工智能公司xAI開源Grok-1的基本模型權(quán)重和網(wǎng)絡(luò)架構(gòu)，該模型是社交媒體平臺X上Grok聊天機(jī)器人的基礎(chǔ)。

據(jù)xAI介紹，Grok-1是一個3140億個參數(shù)的預(yù)訓(xùn)練模型，“沒有針對任何特定任務(wù)進(jìn)行微調(diào)”。這使得Grok-1成為當(dāng)前參數(shù)量最大的開源大語言模型。

據(jù)介紹，目前開源的網(wǎng)絡(luò)架構(gòu)部分包括如何安排和連接各層和節(jié)點(diǎn)來處理數(shù)據(jù)?；灸Ｐ蜋?quán)重是某個特定模型的架構(gòu)中的參數(shù)，這些參數(shù)在訓(xùn)練期間已經(jīng)過調(diào)整，編碼學(xué)習(xí)到的信息，并決定如何將輸入數(shù)據(jù)轉(zhuǎn)換成輸出。

技術(shù)分析師認(rèn)為，與Gemma和Llama等一些使用方面有限制的開源版本模型不同，Grok的開源版本提供了對底層技術(shù)的廣泛訪問。然而，它的全面透明度方面又不如Pythia、Bloom和 OLMo等模型，這些模型包括訓(xùn)練代碼和用于訓(xùn)練模型的數(shù)據(jù)集。

【免責(zé)聲明】上海大牛網(wǎng)絡(luò)科技有限公司僅合法經(jīng)營金融島網(wǎng)絡(luò)平臺，從未開展任何咨詢、委托理財業(yè)務(wù)。任何人的文章、言論僅代表其本人觀點(diǎn)，與金融島無關(guān)。金融島對任何陳述、觀點(diǎn)、判斷保持中立，不對其準(zhǔn)確性、可靠性或完整性提供任何明確或暗示的保證。股市有風(fēng)險，請讀者僅作參考，并請自行承擔(dān)相應(yīng)責(zé)任。