查詢公開資料獲悉,華為盤古系列基礎大模型于 2021 年正式對外發布,包括 NLP(自然語言處理)、CV(機器視覺)和科學計算大模型;后續又發布了礦山、藥物分子、氣象、海浪等行業大模型。
據介紹,NLP 是首個千億參數中文預訓練大模型,CV 大模型則首次達到 30 億參數。盤古 CV 大模型業界最大 CV 大模型、首次實現兼顧判別與生成能力、在 ImageNet 上小樣本學習能力上的業界第一;盤古氣象大模型提供秒級天氣預報;紫東.太初是全球首個圖、文、音三模態大模型。
對于盤古大模型定位,華為內部團隊確立了三項最關鍵的核心設計原則:一是模型要大,可以吸收海量數據;二是網絡結構要強,能夠真正發揮出模型的性能;三是要具有優秀的泛化能力,可以真正落地到各行各業的工作場景。
華為云官網顯示,盤古大模型由 NLP 大模型、CV 大模型、多模態大模型、科學計算大模型等多個大模型構成,通過模型泛化,解決傳統 AI 作坊式開發模式下不能解決的 AI 規模化、產業化難題,可以支持多種自然語言處理任務,包括文本生成、文本分類、問答系統等等。
華為表示,盤古 NLP 大模型由華為云、循環智能和鵬城實驗室聯合開發,具備領先的語言理解和模型生成能力:在權威的中文語言理解評測基準 CLUE 榜單中,盤古 NLP 大模型在總排行榜及分類、閱讀理解單項均排名第一,刷新三項榜單世界歷史紀錄;總排行榜得分 83.046.多項子任務得分業界領先,向人類水平(85.61)邁進了一大步。
具體來看,盤古 NLP 大模型首次使用 Encoder-Decoder 架構,兼顧 NLP 大模型的理解能力和生成能力,保證了模型在不同系統中的嵌入靈活性。下游應用中,僅需少量樣本和可學習參數即可完成千億規模大模型的快速微調和下游適配,這一模型在智能輿論以及智能營銷方面都有不錯的表現。