參數規模達 1.75 兆的悟道 2.0 是目前全球最大的智慧模型

·2 分鐘文章
悟道 2.0
悟道 2.0

AI 智慧模型屆又迎來了新的強者。在日前舉辦的 2021 北京智源大會上,智源人工智慧研究院正式發表了悟道 2.0 智慧模型。它的參數規模達到了 1.75 兆,是一年前領域代表 OpenAI GPT-3 的 10 倍。相較 Google 的 Switch Transformers 超級語言模型,悟道 2.0 的參數規模也要多出 1,500 億。值得一提的是,距離悟道 1.0 登場其實才過去了不到三個月的時間。在這過程中,模型的訓練方向也從原來主要以中文文本為主,變成了文本與視覺集合,因而悟道 2.0 可以用於更多不同任務,通用性得到進一步提升。

智源新研發的 FastMoE 技術,是悟道 2.0 能成為兆級模型的關鍵。Google 目前所採用的 MoE(Mixture of Experts)方案,因其分佈式訓練框架和客製硬體需求,而使得大多數人都無法獲得使用與研究的機會。悟道的 FastMoE 則是首個支援 PyTorch 框架的 MoE 系統,它具備「簡單易用、靈活、高效能」等特點,而且支援大規模並行訓練及 Switch、Gshard 等複雜均衡策略。相較之下,能提供更低的門檻和更多的彈性。

根據智源的介紹,悟道 2.0「在詩詞創作、做對聯、文本摘要、人設問答、繪畫等方面都已接近突破圖靈測試」。在大會上官方還展示了與小冰公司(源自微軟)合力開發的虛擬學生「華智冰」,其發展方向是在多項認知智慧上超越人類,在識別基礎上還要有創造能力,以幫助 AI「從感知智慧向認知智慧時代邁進」。

我們致力為用戶建立安全而有趣的平台,讓他們與志同道合的用戶聯繫交流。為改善我們的社群體驗,我們暫時停用文章留言功能