IT之家5月11日消息，由多方企業(yè)和機(jī)構(gòu)組成的日本聯(lián)合研究團(tuán)隊(duì)昨日發(fā)布了Fugaku-LLM大模型。該模型的最大特色就是其是在Arm架構(gòu)超算“富岳”上訓(xùn)練的。

Fugaku-LLM模型的開(kāi)發(fā)于2023年5月啟動(dòng)，初期參與方包括富岳超算所有者富士通、東京工業(yè)大學(xué)、日本東北大學(xué)和日本理化學(xué)研究所（理研）。

而在2023年8月，另外三家合作方——名古屋大學(xué)、CyberAgent（也是游戲企業(yè)Cygames的母公司）和HPC-AI領(lǐng)域創(chuàng)企Kotoba Technologies也加入了該模型研發(fā)計(jì)劃。

據(jù)悉，研究團(tuán)隊(duì)表示其充分挖掘了富岳超算的性能，將矩陣乘法的計(jì)算速度提高了6倍，通信速度也提升了3倍，證明大型純CPU超算也可用于大模型訓(xùn)練。

Fugaku-LLM模型參數(shù)規(guī)模為13B，是日本國(guó)內(nèi)最大的大型語(yǔ)言模型。

其使用了13824個(gè)富岳超算節(jié)點(diǎn)在3800億個(gè)Token上進(jìn)行訓(xùn)練，其訓(xùn)練資料中60%為日語(yǔ)，其他40%包括英語(yǔ)、數(shù)學(xué)、代碼等部分。

該模型的研究團(tuán)隊(duì)宣稱Fugaku-LLM模型可在交流中自然使用日語(yǔ)敬語(yǔ)等特殊表達(dá)。

具體到測(cè)試成績(jī)上，該模型在日語(yǔ)MT-Bench模型基準(zhǔn)測(cè)試上的平均得分為5.5，排在基于日本語(yǔ)料資源的開(kāi)放模型首位，并在人文社科類別中得到了9.18的高分。

目前Fugaku-LLM模型已在GitHub和Hugging Face平臺(tái)公開(kāi)，外部研究人員和工程師可在遵守許可協(xié)議的前提下將該模型用于學(xué)術(shù)和商業(yè)目的。