國產百億大模型再增一員！400億參數孟子GPT發布，性能提升10-15%

明敏 發自 凹非寺

量子位 | 公眾號 QbitAI

剛剛，國產大模型明星選手孟子GPT上新！

400億參數通用大模型正式發布，已開啟邀測。

數據顯示，孟子GPT-40B版本全面領先7B版本，大約提升10-15個百分點。

并超越部分國內大模型，在多語言任務等方面接近ChatGPT-3.5。

孟子GPT來自瀾舟科技，其創始人為NLP領域大牛周明。

自21年成立以來，瀾舟科技先后發布孟子系列模型、MChat以及多個垂直領域模型，并拿下數億元融資。

這次發布是孟子GPT上新。除了基礎大模型以外，瀾舟科技還同步上線了行業大模型，以及基于大模型的產品應用。

分別是：

• 基于孟子GPT打造的金融大模型
• 基于孟子GPT打造的會議內容分析平臺“瀾舟智會”

基于這三方面上新，瀾舟科技也表示，未來將全面擁抱MaaS服務，提供基礎模型、大模型訓練框架/工具包等服務。

使用更成熟預訓練技術

據發布會介紹，孟子GPT-40B主要在中文及多語言能力、寫作、多輪對話等方面做了提升。

通過網頁、百科、社交媒體、新聞以及高質量開源數據集，孟子GPT-40中文能力更加突出。

并且基于萬億tokens多語言語料聯合訓練，更進一步提升了英語等語言能力。

在底層算法上，瀾舟表示使用了更成熟的預訓練技術，利用50萬指令數據精調，基于70億參數量的獎懲函數進行強化學習。

基于FlashAttention的高效注意力計算，訓練速度提升8.5倍。基于TGI等加速框架，推理速度提升4.6倍。

在孟子GPT-40B基礎上，還能更進一步訓練出行業大模型。

同步發布的瀾舟智會，能提取出會議錄音/視頻的核心內容，生成總結和摘要，并且能對要點進行問答。

就在最近，孟子大模型還登頂中文大語言模型測評榜單C-Eval。

瀾舟已拿下數億元融資

瀾舟科技是以NLP技術為基礎的認知智能公司，由AI大牛周明創辦，成立于2021年6月。

周明，當今NLP領域成就最高的華人之一，他不僅是中國第一個中英翻譯系統的研制者，還在2019年成為AI語言領域最高級頂會ACL（國際計算語言協會）主席。

1991年在NLP重鎮哈工大拿到博士學位后，周明進入清華任教；1999年被微軟亞洲研究院創始院長李開復挖走，后來不久成為NLP研究組負責人。

2020年離開MSRA加盟創新工場擔任首席科學家時，周明已擔任MSRA副院長多年。

瀾舟科技成立以來，主打加速AI落地，在輕量化大模型、垂直領域大模型上都做了頗多探索。

據介紹，除了孟子大模型外，目前瀾舟科技已經開源了20個左右大模型。

今年3月，瀾舟科技最新拿下Pre-A輪融資，由北京中關村科學城公司領投，斯道資本和創新工場跟投。這是瀾舟科技收獲的第2輪融資，2輪累計總額數億元。

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態