杭州都市網(wǎng)

近日,自然語言處理領(lǐng)域權(quán)威排行榜——GLUE通用語言理解評估基準新排名出爐。百度自研的語義理解技術(shù)與平臺文心ERNIE以90.9的分數(shù)再登榜首,領(lǐng)先微軟?DeBERTa/TuringNLRv4,谷歌?T5以及阿里巴巴、華為等研發(fā)的其他同類別技術(shù)。

GLUE排行榜由紐約大學、華盛頓大學、谷歌DeepMind等機構(gòu)聯(lián)合推出,涵蓋自然語言推斷、語義相似度、問答匹配、情感分析等9大不同類型的NLP任務(wù)。GLUE榜單的挑戰(zhàn)者包含了谷歌、Facebook、微軟等國際頂尖科技公司以及斯坦福大學、卡耐基·梅隆大學等知名高校,含金量極高。GLUE榜單在一定程度上成為了衡量各機構(gòu)自然語言處理預(yù)訓練技術(shù)水平最重要的指標之一。

一級首創(chuàng)層次化學習

早在2019年12月,百度文心ERNIE就曾以9個任務(wù)平均得分首次突破90大關(guān)的好成績,刷新GLUE榜單歷史奪得榜首。此次百度文心ERNIE再度登頂,主要源于文心ERNIE對模型持續(xù)學習方式的進一步升級和模型神經(jīng)元數(shù)目的進一步增多,使得模型能更加高效地、高質(zhì)量地學習海量數(shù)據(jù)中的豐富知識。具體來說,文心ERNIE提出了層次化Post-LN Transformer算法,解決了大規(guī)模Post-LN Transformer模型訓練不穩(wěn)定問題,保證了模型訓練效果。此外,文心ERNIE還利用了百度飛槳獨創(chuàng)的Hybrid Sharding分布式算法,極大地降低了模型訓練時間。

文心ERNIE層次化Post-LN Transformer技術(shù)圖解

一級業(yè)界領(lǐng)先的語義理解技術(shù)與平臺——文心ERNIE

自然語言處理NLP被稱為人工智能皇冠上的一顆明珠,該領(lǐng)域的技術(shù)突破對于機器認知智能發(fā)展至關(guān)重要。百度文心ERNIE則是一個取得世界級突破的語義理解技術(shù)與平臺,它依托于百度的深度學習平臺飛槳打造,將機器理解語言的水平提升到一個新的高度,為計算機帶來了認知智能領(lǐng)域的巨大跨域。此次文心ERNIE能夠再次超越國際頂尖公司及高校榮登榜首,背后是百度在NLP技術(shù)的長期積累。

文心ERNIE的核心技術(shù)優(yōu)勢在于,它開創(chuàng)性地將大數(shù)據(jù)預(yù)訓練與多源豐富知識相結(jié)合,通過持續(xù)學習技術(shù),不斷吸收海量文本數(shù)據(jù)中詞匯、結(jié)構(gòu)、語義等方面的新知識,實現(xiàn)模型效果不斷進化,如同人類持續(xù)學習一樣。這讓它在16個中英文典型 NLP任務(wù)上顯著超越當時世界最好效果。

文心ERNIE語義理解平臺集先進的預(yù)訓練模型、全面的NLP算法集、端到端開發(fā)套件和平臺化服務(wù)于一體,為企業(yè)和開發(fā)者提供一站式NLP開發(fā)與服務(wù)。

如今,百度在自然語言處理領(lǐng)域的深厚積累已輻射至不同領(lǐng)域。文心ERNIE已廣泛地應(yīng)用于百度內(nèi)外多個產(chǎn)品和技術(shù)場景,在百度搜索、小度音箱、信息流推薦等一系列產(chǎn)品應(yīng)用中發(fā)揮了重要作用,大幅提升了產(chǎn)品效果和用戶體驗,并通過百度智能云形成“云智一體”的競爭優(yōu)勢,輸送到金融、通信、教育、互聯(lián)網(wǎng)等行業(yè),助力各行各業(yè)產(chǎn)業(yè)智能化升級。