截至本文成稿,MiLM-6B在C-Eval總榜單排名第10、同參數量級排名第1,在CMMLU中文向大模型排名第1。
根據C-Eval給出的信息,MiLM-6B模型在各個測試科目中的平均成績如下:
具體各科目成績上,在STEM(科學、技術、工程和數學教育)全部20個科目中,計量師、物理、化學、生物等多個項目獲得了較高的準確率。
而在10個社會科學科目中,該模型在教育學和地理外的所有科目,都獲得了較為理想的準確率。
人文科學的11個科目中,MiLM-6B則在歷史與法律基礎上有著不錯的準確率表現。
可以看出,MiLM-6B模型目前已經在大多數科目中表現出了相對良好的準確度,但在諸如法學、數學、編程、概率論、離散數學等科目上的表現依舊有明顯進步空間。
快科技延展閱讀:
根據GitHub項目頁給出的信息,MiLM-6B是由小米開發的一個大規模預訓練語言模型,參數規模為64億。
?