中國信通院聯合工作組 60 余家單位,共同研制了《大規模預訓練模型技術和應用評估方法》系列標準,包含模型開發、模型能力、模型應用和可信要求四個重要部分。目前模型開發、模型能力兩部分標準已發布,模型開發標準包括數據構建、模型訓練、模型管理、模型部署 4 個能力域、16 個能力子域、60 余個能力項,全面評估研究主體開發大模型的能力。
模型能力標準包含功能豐富度、性能優越度、服務成熟度 3 個評測維度、8 個能力域、30 余個能力項,全面評估大模型的各項技術能力。模型應用標準初步定稿,包含應用豐富度、服務成熟度、運營管理能力 3 個能力域、14 個能力子域、30 余個能力項,綜合評估大模型應用成熟度??尚乓髽藴收谇捌谘芯恐?,近期將啟動編制工作。
據悉,中國科學院自動化研究所、武漢人工智能研究院研發的“紫東太初”大模型,在 2 月 12 日-3 月 3 日參與可信 AI 評測工作,模型開發和模型能力兩部分獲得 4 + 級評分,成為國內首家通過該項評測的學術機構。